最近，日本东京的初创公司 Rhymes AI 推出了他们的首款人工智能模型 ——Aria。该公司自称，Aria 是全球首个开源的多模态混合专家（MoE）模型。这个模型不仅具有处理多种输入模态的能力，还声称在能力上与一些知名的商业模型不相上下，甚至更胜一筹。Aria 的设计理念是希望能够在文本、代码、图像和视频等多种输入形式上，提供卓越的理解和处理能力。与传统的 Transformer 模型不同，MoE 模型通过多个专业的专家来替代其前馈层。当处理每个输入令牌时，一个路由模块会选择一部分专家进

Salesforce发布了一套名为xGen-MM的开源多模态AI模型，旨在同时理解和生成文本、图像等多种数据类型，显著改变AI研究与应用方式。该模型在多项基准测试中表现出色，与同类开源模型相比性能不俗，包含预训练模型、数据集和微调代码。最大模型拥有40亿个参数，能够处理“交错数据”，实现多任务执行，如同时回答关于多张图像的问题。模型的多样化选择反映了对AI能力与安全伦理平衡的关注。此次开源不仅提供了研究工具，还树立了AI领域透明度的新标杆，可能激励其他科技巨头更开放地分享研究。