近日，VLM-R1项目的成功推出为这一领域带来了新的曙光。该项目是 DeepSeek 团队的 R1方法在视觉语言模型中的成功迁移，意味着 AI 对视觉内容的理解将进入一个全新的阶段。VLM-R1的灵感源自于去年 DeepSeek 开源的 R1方法，该方法利用了 GRPO（Generative Reward Processing Optimization）强化学习技术，在纯文本处理上取得了优异的表现。如今，VLM-R1团队将这一方法成功地应用于视觉语言模型，为多模态 AI 的研究开辟了新天地。在项目的验证结果中，VLM-R1的表现令人惊艳。首先，R1方法在复杂场景下展现出

近日，微软研究团队联合多所高校的研究人员，发布了一款名为 “Magma” 的多模态 AI 模型。这款模型的设计旨在处理和整合图像、文本和视频等多种数据类型，以便在数字和物理环境中执行复杂任务。随着科技的不断进步，多模态 AI 代理正在被广泛应用于机器人技术、虚拟助手和用户界面自动化等领域。以往的 AI 系统通常专注于视觉 - 语言理解或机器人操作，难以将这两种能力结合成一个统一的模型。许多现有模型虽然在特定领域内表现良好，但在不同应用场景中的泛化能力较差。例如

​2025年2月11日，北京智谱华章科技有限公司宣布，其研发的Agentic GLM全面登陆三星最新款手机Galaxy S25系列。这一合作标志着全球首款支持多模态AI交互的智能手机正式推向市场，为用户带来了前所未有的智能体验。智谱华章自2023年4月开启Agent智能体相关研究，并于2024年10月推出首个Agent产品AutoGLM，率先提出Phone Use理念。基于在智能体领域的深厚技术积累，智谱与三星展开合作，将Agentic GLM的强大功能集成到Galaxy S25系列手机中。该手机不仅支持基于AI的实时语音和视频通话，还能够实现视觉理解

近期，阿里巴巴在AI领域迎来了一位重量级人物。据业内人士透露，一位全球顶级人工智能科学家已于近期正式入职阿里巴巴，未来或将专注于AI To C业务的基础大模型研发与应用。这位科学家在工业界和学术界均拥有超过20年的经验，尤其在多模态AI领域成果丰硕，曾主导发表过上百篇大模型顶级论文。

国产大模型DeepSeek发布了全新的Janus-Pro多模态大模型，正式进军文生图领域。这一举动标志着DeepSeek在多模态AI技术上的重大突破。在GenEval和DPG-Bench基准测试中，Janus-Pro-7B不仅击败了OpenAI的DALL-E3，还超越了Stable Diffusion、Emu3-Gen等热门模型。Janus-Pro采用MIT开源协议，这意味着它可以无限制地用于商业场景。DeepSeek表示，Janus-Pro是2024年11月13日发布的JanusFlow大模型的高级版本。相比前代模型，Janus-Pro优化了训练策略，扩展了训练数据，并且模型规模更大。这些改进使得Janus-Pro在多模态理解和文本

阿里巴巴近日推出了一款名为QVQ-72B的全新多模态推理模型，该模型基于Qwen2-VL-72B构建，融合了强大的语言和视觉能力，能够处理更为复杂的推理和分析任务，标志着阿里巴巴在多模态AI领域取得了新的突破。QVQ-72B在视觉推理、数学和科学问题上表现出了显著的提升，尤其是在多步推理任务中。这意味着该模型不仅能够理解文字信息，还能理解图像信息，并通过多步推理来解决复杂问题，这是传统AI模型难以企及的。该模型的一大亮点是其在物理问题中结合文字和视觉信息推导因果关系的能

有“AI教母”之称的斯坦福大学教授李飞飞及其团队近日发布了一项关于多模态大模型“空间智能”的研究，揭示这些模型在记忆和回忆空间方面已经具备初步能力，并展现出形成局部世界模型的潜力。研究团队开发了用于评估视觉空间智能能力的工具——VSI-Bench，其中包含超过5000个基于288个真实视频的高质量问答对。测试视频涵盖居住空间、专业场所及工业场景，涉及多个地理区域。研究结果显示，尽管多模态模型的总体表现尚低于人类，但在某些任务上已达到或接近人类水平。例如，

​阿里云百炼大模型服务平台最近推出了“音视频实时互动”功能，使用户能够轻松搭建多模态AI应用，无需编程知识。这一新功能使得用户可以快速将AI模型集成到Web、iOS和Android应用中，并与他人分享。用户可以通过简单的步骤来搭建智能体应用:首先新建智能体应用，然后在阿里云百炼平台上选择并配置所需的文本、语音或视觉理解大模型。平台提供了200多种大模型，包括具备强大视觉智能体能力的阿里云Qwen2-VL大模型。接下来，用户需要编写提示词，设置音视频API-KEY，并发布自己的专属AI应用。

谷歌云近日发布了一份趋势报告，指出2025年企业将进入 AI 全面应用的新时代，AI 智能体、多模态 AI 以及企业搜索将成为主流趋势。报告中提到，2024年是 AI 实验的阶段，而2025年则是企业大规模应用 AI 的关键年。图源备注：图片由AI生成，图片授权服务商Midjourney在未来，AI 智能体将广泛嵌入企业内部，负责执行复杂的多步骤任务。根据 Capgemini 的研究，目前仅有10% 的大型企业在使用 AI 代理，但预计在未来三年内，82% 的企业计划整合这一技术。谷歌识别了六种类型的 AI 智能体，包括客户智

近日，OpenAI 宣布从竞争对手 Google DeepMind 引入三名资深计算机视觉和机器学习工程师，进一步加强其在人工智能领域的研发能力。这三位新员工分别是 Lucas Beyer、Alexander Kolesnikov 和 Xiaohua Zhai，他们将于在瑞士苏黎世的新办公室工作。OpenAI 的高管在周二的内部备忘录中透露了这一消息，表示这三位工程师的加入将为公司的多模态 AI 项目注入新的活力。多模态 AI 是指能够处理和理解不同媒介（如图像和音频）的人工智能模型。随着 AI 技术的快速发展，如何将不同类型的数据进行有效融合，

Cohere 发布了最先进的多模态 AI 搜索模型 Embed3—— 现在支持多模态搜索，这意味着用户不仅可以通过文本，还能通过图像进行企业级的检索。Embed3自去年推出以来，一直在不断优化，帮助企业将文档转化为数字化的表示形式，而这次的升级将让它在图像搜索方面表现更为出色。Cohere 的联合创始人兼首席执行官 Aidan Gonzales 在社交媒体上分享了 Embed3在图像搜索方面的性能提升图表。Cohere 在一篇博客中表示，这一新功能将帮助企业充分挖掘存储在图像中的海量数据，提升工作效率。企业可以

​北京智源人工智能研究院宣布推出原生多模态世界模型Emu3。这一模型基于下一个token预测技术，无需依赖扩散模型或组合方法，就能够完成文本、图像、视频三种模态数据的理解和生成。Emu3在图像生成、视频生成、视觉语言理解等任务中超过了现有的知名开源模型，如SDXL、LLaVA、OpenSora等，展现了卓越的性能。

最近，日本东京的初创公司 Rhymes AI 推出了他们的首款人工智能模型 ——Aria。该公司自称，Aria 是全球首个开源的多模态混合专家（MoE）模型。这个模型不仅具有处理多种输入模态的能力，还声称在能力上与一些知名的商业模型不相上下，甚至更胜一筹。Aria 的设计理念是希望能够在文本、代码、图像和视频等多种输入形式上，提供卓越的理解和处理能力。与传统的 Transformer 模型不同，MoE 模型通过多个专业的专家来替代其前馈层。当处理每个输入令牌时，一个路由模块会选择一部分专家进

Meta 公司近日证实，用户使用 Ray-Ban Meta 智能眼镜拍摄的照片和视频可能会被用于训练其 AI 模型。这一做法引发了人们的担忧，因为用户可能并不了解他们正在向 Meta 提供大量图像用于训练其 AI 模型，这些图像可能包含他们的家庭内部、亲人或个人文件等信息。Meta 政策传播经理 Emil Vazquez 表示，在多模态 AI 可用的地区，用户与 Meta AI 共享的图像和视频可能会被用于改进 Meta 的 AI 模型，这符合其隐私政策。然而，这一做法与 Meta 之前的说法相矛盾，之前 Meta 表示，只要用户不将照片和视频

在人工智能的浩瀚海洋中，一艘名为Emu3的创新之船正在破浪前行，为我们展示了多模态AI的无限可能。这个由Meta AI研究团队开发的革命性模型，通过简单而巧妙的"下一步预测"机制，实现了文本、图像和视频的统一处理。Emu3的核心思想是将各种内容转换为离散符号，然后利用单一的Transformer模型来预测下一个符号。这种方法不仅简化了模型架构，还让Emu3在多个领域展现出惊人的能力。从高质量图像生成到准确的图文理解，从连贯的对话响应到流畅的视频创作，Emu3都能轻松应对。在图像生

Salesforce发布了一套名为xGen-MM的开源多模态AI模型，旨在同时理解和生成文本、图像等多种数据类型，显著改变AI研究与应用方式。该模型在多项基准测试中表现出色，与同类开源模型相比性能不俗，包含预训练模型、数据集和微调代码。最大模型拥有40亿个参数，能够处理“交错数据”，实现多任务执行，如同时回答关于多张图像的问题。模型的多样化选择反映了对AI能力与安全伦理平衡的关注。此次开源不仅提供了研究工具，还树立了AI领域透明度的新标杆，可能激励其他科技巨头更开放地分享研究。

国产大模型在人工智能的多模态领域展现出强劲实力，腾讯的hunyuan-vision和上海AI Lab的InternVL2-40B分别在闭源和开源领域领跑，超越国际知名模型。hunyuan-vision作为腾讯混元大模型的多模态版本，在API调用上受到开发者欢迎，并在腾讯元宝APP中免费开放，展现实用易用性。元宝APP在多模态能力评测中国内第一，通过一系列测试展示了其在理解中文语境、处理图像内容及实际应用中的出色表现，如理解梗图表情包、识别照片内容、挑战视觉错觉等。腾讯混元大模型持续迭代，已扩展至万亿参数规模，覆盖文本、多模态理解及生成领域。元宝APP主打实用AI搭子，具备多端同步、聊天记录同步及强大的多模态理解能力，能基于图片内容进行深入分析。未来，腾讯计划进一步提升融合模型的多模态能力，优化用户体验，并在深度搜索和深度长文阅读方面进行功能更新，以简化用户操作。

第二届MER24挑战赛聚焦AI在真实人机交互场景中的情感识别应用，吸引了国际知名学者参与。Soul App的语音技术团队在难度极高的Semi赛道中脱颖而出，荣获第一名。该团队的成功得益于其在多模态数据理解、情感识别算法、模型优化和高效协作等方面的创新。面对数据稀缺挑战，Soul团队采用改进的半监督学习技术、预训练模型和有效的特征融合方法，提高了情感识别准确率，区分了易混淆情感。Soul通过自研AI技术在社交领域实现情感化交互，从“任务执行者”转变为“情感陪伴者”，并在AI社交方向上取得显著成果。未来，Soul等企业将继续推动AI与用户情感化互动体验的创新，形成繁荣内容生态，实现商业价值。

近日，一个由中国和新加坡科研人员组成的国际团队成功开发出全球首个面向糖尿病诊疗的多模态人工智能系统DeepDR-LLM。该研究成果于2024年7月19日在《自然医学》（Nature Medicine）上发表。

Meta周三向Axios发表声明，宣布由于欧盟法规不明确，该公司将不会向欧盟国家的客户发布其新的多模态AI模型或未来版本。这一决定引发了对欧盟AI监管环境的广泛讨论，同时也反映了美国科技巨头在面对全球不同监管要求时的策略调整。