在AI领域,一股新的力量正在崛起。阿布扎比技术创新研究所(TII)宣布开源他们的全新大模型Falcon2,一个拥有110亿参数的模型,它以出色的性能和多语言能力,引起了全球的关注。
Falcon2有两个版本,一个基础版,易于部署,能够生成文本、代码和总结;另一个是带有视觉转换功能的VLM模型,能够将图片信息转换成文本,这在开源大模型中极为罕见。在多个维权测试排行榜中,Falcon211B的性能超越了Meta的Llama38B,与Google的Gemma7B并列第一,这证明了其卓越的性能。
图源备注:图片由AI生成,图片授权服务商Midjourney
Falcon211B的多语言能力,让它能够轻松处理包括英语、法语、西班牙语、德语、葡萄牙语在内的多种语言任务,增强了其在不同场景下的应用潜力。作为视觉大模型的Falcon211B VLM,在医疗保健、金融、电商、教育和法律等行业具有广泛的应用潜力,能够识别和解读环境中的图像和视觉内容。
Falcon211B在其构建的开源数据集RefinedWeb上,使用了超过5.5万亿的Tokens数据进行了预训练。这个数据集是高质量、经过过滤和去重的,TII通过精选语料对其进行了增强,并采用了四阶段的训练策略,以提高模型的上下文理解能力。
值得一提的是,Falcon2是一款性能强大且消耗低的大模型,仅需一个GPU即可高效运行,这使得它高度可扩展,易于部署,甚至可以集成到笔记本电脑等轻量级设备中。这为中小企业和个人开发者提供了极大的便利,并允许进行商业化使用。
TII的人工智能跨中心部门执行主任及代理首席研究员Dr. Hakim Hacid表示,随着生成式AI技术的演进,开发者认识到小型模型带来的优势,包括减少计算资源需求、满足可持续性标准以及提供增强的灵活性。
早在2023年5月,TII首次开源了Falcon-40B大模型,在huggingface的开源大语言模型排行榜中位列第一名,击败了一系列著名开源模型。Falcon-40B在1万亿tokens数据集上进行训练,可用于文本问答、总结摘要、自动生成代码、语言翻译等,支持特定业务场景微调。
TII成立于2020年,是阿布扎比高等教育和科技部旗下的研究机构,目标是推动科学研究、开发前沿技术并将其商业化,以促进阿布扎比和阿联酋的经济发展。TII目前拥有来自74个国家的800多名研究专家,发表了700多篇论文和25多项专利,是世界领先的科学研究机构之一。
Falcon2的开源,不仅是TII对技术共享的承诺,也是对未来AI发展的一次大胆探索。开源的Falcon2将带来计算资源需求的减少、可持续性标准的满足,以及灵活性的增强,完美融入边缘AI基础设施的新兴趋势。
模型地址:https://huggingface.co/tiiuae/falcon-11B