阿联酋-阿布扎比技术翻新钻研所（TII）在官方发表，开源全新大模型Falcon 2。
Falcon 2有110亿参数共有两个版本，一个是高效、易于部署的基础模型，经常使用了5.5万亿tokens数据启动预训练，可以生成文本、代码、总结内容等。
另外一个是带有视觉转换配置的VLM模型，可以将图片的消息转换成文本数据，也是极少数支持视觉转换的开源大模型。
开源地址：
TII示意，在多个维权测试排行榜中显示，Falcon 2 11B的性能逾越了Meta新推出的Llama 3 8B，并与Google的Gemma 7B并列第一（Falcon 2 11B：64.28 对比 Gemma 7B：64.29）。
多言语才干方面，Falcon 2 11B能轻松解决英语、法语、西班牙语、德语、葡萄牙语等多种言语的义务，增强了其多样性和跨场景的有效性。
而Falcon 2 11B VLM作为视觉大模型，能够识别和解读环境中的图像和视觉内容，在医疗保健、金融、电商、教育和法律等行业有宽泛的运行后劲，包含文档治理、数字存档、情境索引以及支持视障人士等。
训练数据方面，Falcon 2 11B在其构建的开源数据集RefinedWeb，经常使用了超越5.5万亿的Tokens数据启动了预训练。
RefinedWeb是一个高品质、经过过滤和去重的网络数据集，TII经过精选语料对其启动了增强，并经常使用了四阶段的训练战略。
前三个阶段专一于参与高低文长度，从2048个tokens参与到4096个，最后参与到8192个tokens。最后一个阶段的指标是仅经常使用高品质数据进一步提高性能。
Falcon 2在 1024个A100 40GB GPU上训练了大概2个月的期间。
值得一提的是Falcon 2是一款性能强，消耗低的大模型仅需一个GPU即可高效运转，使其高度可裁减，易于部署并集成到笔记本电脑等轻量级设备中。十分实用于中小企业和团体开发者，并且准许启动商业化经常使用。
TII人工智能跨核心部门口头主任及代理首席钻研员Dr. Hakim Hacid示意，随着生成式AI的技术演进，开发者意识到小型带来的诸多长处。
除了缩小计算资源需求并满足可继续性规范外，这些模型还提供了增强的灵敏性，能无缝融入边缘AI基础设备这一新兴大趋向中。咱们开源的Falcon 2便是一款消耗低且性能强的模型，并且融合了上游的视觉解读才干。
早在2023年5月25日，TII初次开源了Falcon-40B大模型，曾在huggingface的开源大言语模型排行榜中位列第一名，击败了LLaMa 65b、GPT4-X-Alpasta-30b、StableLM、RedPajama、LLaMa 30b等一系列驰名开源模型成为一匹黑马。
Falcon-40B在1万亿tokens数据集上启动训练，可用于文本问答、总结摘要、智能生成代码、言语翻译等，支持特定业务场景微调。在斯坦福大学的HELM LLM基准测试中，Falcon-40B比GPT-3、 Chinchilla AI、PaLM-62B等出名大言语模型的算力消耗低更低，性能却更杰出。
原文链接: