有“AI教母”之称的斯坦福大学教授李飞飞及其团队近日发布了一项关于多模态大模型“空间智能”的研究，揭示这些模型在记忆和回忆空间方面已经具备初步能力，并展现出形成局部世界模型的潜力。研究团队开发了用于评估视觉空间智能能力的工具——VSI-Bench，其中包含超过5000个基于288个真实视频的高质量问答对。测试视频涵盖居住空间、专业场所及工业场景，涉及多个地理区域。研究结果显示，尽管多模态模型的总体表现尚低于人类，但在某些任务上已达到或接近人类水平。例如，

最近，日本东京的初创公司 Rhymes AI 推出了他们的首款人工智能模型 ——Aria。该公司自称，Aria 是全球首个开源的多模态混合专家（MoE）模型。这个模型不仅具有处理多种输入模态的能力，还声称在能力上与一些知名的商业模型不相上下，甚至更胜一筹。Aria 的设计理念是希望能够在文本、代码、图像和视频等多种输入形式上，提供卓越的理解和处理能力。与传统的 Transformer 模型不同，MoE 模型通过多个专业的专家来替代其前馈层。当处理每个输入令牌时，一个路由模块会选择一部分专家进

Salesforce发布了一套名为xGen-MM的开源多模态AI模型，旨在同时理解和生成文本、图像等多种数据类型，显著改变AI研究与应用方式。该模型在多项基准测试中表现出色，与同类开源模型相比性能不俗，包含预训练模型、数据集和微调代码。最大模型拥有40亿个参数，能够处理“交错数据”，实现多任务执行，如同时回答关于多张图像的问题。模型的多样化选择反映了对AI能力与安全伦理平衡的关注。此次开源不仅提供了研究工具，还树立了AI领域透明度的新标杆，可能激励其他科技巨头更开放地分享研究。

Meta周三向Axios发表声明，宣布由于欧盟法规不明确，该公司将不会向欧盟国家的客户发布其新的多模态AI模型或未来版本。这一决定引发了对欧盟AI监管环境的广泛讨论，同时也反映了美国科技巨头在面对全球不同监管要求时的策略调整。

["2023年是人工智能领域长期以来最具颠覆性的一年，大量生成式人工智能产品进入主流。","继续其变革之旅，生成式人工智能有望在2024年从兴奋的话题转变为现实世界的应用。","生成式人工智能领域正在迅速发展，催生了一系列广泛的趋势，这些趋势将促进人工智能在各行各业的采用及其在我们日常生活中的存在。","生成式人工智能模型通过集成多模式多功能性超越了文本创建。"]

["Unified-IO2标志着人工智能领域的重大突破，具有自回归能力，可处理文本、图像、音频和视频等多种数据类型。","创新的单编码器-解码器变压器模型克服了以往模型在多模态数据处理中的限制。","性能超群，在35个数据集上创下GRIT评估的新记录，尤其在图像生成方面超越竞争对手。","Unified-IO2采用复杂而创新的方法，包括共享表示空间、预训练的视觉变压器、音频频谱变压器等。","开发团队的成功经验预示了人工智能未来更为细致和全面的发展，为整合、多才多艺的强大系统奠定了基础。"]