Ovis2 是阿里巴巴国际化团队提出的Ovis系列模型的最新版本。与前序1. 6 版本相比，Ovis2 在数据构造和训练方法上都有显著改进。它不仅强化了小规模模型的能力密度，还通过指令微调和偏好学习大幅提升了思维链（CoT）推理能力。此外，Ovis2 引入了视频和多图像处理能力，并增强了多语言能力和复杂场景下的OCR能力，显著提升了模型的实用性。

全球开发者目光再次聚焦中国!在备受瞩目的全球开发者大会（GDC）上，阿里云魔搭社区重磅宣布，首发上线阶跃星辰最新开源的两款多模态模型，包括 全球参数量最大的开源视频生成模型 Step-Video-T2V，以及 业界首款产品级开源语音交互模型 Step-Audio。 这一消息瞬间引爆全球AI开源社区，再次彰显中国在人工智能领域的强劲创新实力。作为中国最大的AI模型社区，阿里云魔搭社区此次发布的这两款重磅模型，无疑是近期全球多模态领域最受瞩目的开源成果。 Step-Video-T2V 以其巨大的参数规模

据了解，腾讯元宝此次升级的核心在于“混元+DeepSeek”双模聚合技术的应用。过去，DeepSeek主要扮演的是信息提取的角色，类似于“扫描仪”。但在腾讯混元多模态技术的加持下，如今的DeepSeek已经能够真正理解图片中的细节、氛围，甚至是隐藏的含义。这一转变使得腾讯元宝能够“看懂”图片，并给出自己的分析和解读。

近日，VLM-R1项目的成功推出为这一领域带来了新的曙光。该项目是 DeepSeek 团队的 R1方法在视觉语言模型中的成功迁移，意味着 AI 对视觉内容的理解将进入一个全新的阶段。VLM-R1的灵感源自于去年 DeepSeek 开源的 R1方法，该方法利用了 GRPO（Generative Reward Processing Optimization）强化学习技术，在纯文本处理上取得了优异的表现。如今，VLM-R1团队将这一方法成功地应用于视觉语言模型，为多模态 AI 的研究开辟了新天地。在项目的验证结果中，VLM-R1的表现令人惊艳。首先，R1方法在复杂场景下展现出

近日，微软研究团队联合多所高校的研究人员，发布了一款名为 “Magma” 的多模态 AI 模型。这款模型的设计旨在处理和整合图像、文本和视频等多种数据类型，以便在数字和物理环境中执行复杂任务。随着科技的不断进步，多模态 AI 代理正在被广泛应用于机器人技术、虚拟助手和用户界面自动化等领域。以往的 AI 系统通常专注于视觉 - 语言理解或机器人操作，难以将这两种能力结合成一个统一的模型。许多现有模型虽然在特定领域内表现良好，但在不同应用场景中的泛化能力较差。例如

2月19日，北京智谱华章科技有限公司宣布，其旗下的多模态创作平台“清影”与AI角色创作平台“捏Ta”达成战略合作，共同探索AI角色设计到动画创作的完整路径，并推动IP一致性的技术落地。此次合作旨在深入挖掘二次元用户需求与AI应用场景，为用户提供更高质量的生成效果和更快的推理速度。

今日，阶跃星辰与吉利汽车集团宣布，联合开源两款阶跃Step系列多模态大模型——Step-Video-T2V视频生成模型和Step-Audio语音模型。其中，阶跃Step-Video-T2V视频生成模型在参数量和性能上均处于全球领先水平。该模型拥有300亿参数量，能够直接生成204帧、540P分辨率的高质量视频，确保生成内容信息密度高、一致性强。评测结果显示，Step-Video-T2V在指令遵循、运动平滑性、物理合理性、美感度等方面均表现出色，显著超越市面上既有的最佳开源视频模型。

近日，百度文心一言官方宣布，自2024年4月1日零时起，其服务将全面免费向所有PC端和App端用户开放。这意味着用户将无需支付任何费用，即可体验文心系列最新的模型功能。与此同时，百度文心一言即日起正式上线深度搜索功能。该功能旨在通过更强大的思考规划能力和外部工具使用能力，为用户提供专家级的内容回复。它不仅能够处理多种场景下的任务，还实现了多模态的输入与输出，进一步提升了用户体验。

​文心大模型官方宣布了两个重要更新，为用户带来更为便捷和高效的使用体验。据悉，随着文心大模型的持续迭代与成本优化，文心一言将于4月1日零时起实现全面免费。届时，无论是在PC端还是APP端，用户均可无门槛地体验文心系列最新模型。这一举措无疑将进一步提升文心一言的用户覆盖率和市场影响力。

​2025年2月11日，北京智谱华章科技有限公司宣布，其研发的Agentic GLM全面登陆三星最新款手机Galaxy S25系列。这一合作标志着全球首款支持多模态AI交互的智能手机正式推向市场，为用户带来了前所未有的智能体验。智谱华章自2023年4月开启Agent智能体相关研究，并于2024年10月推出首个Agent产品AutoGLM，率先提出Phone Use理念。基于在智能体领域的深厚技术积累，智谱与三星展开合作，将Agentic GLM的强大功能集成到Galaxy S25系列手机中。该手机不仅支持基于AI的实时语音和视频通话，还能够实现视觉理解

Meta AI的研究人员与学术伙伴共同开发了一种创新系统——MILS（多模态迭代LLM求解器），该系统能在无需经过专门训练的情况下，教大型语言模型处理图像、视频和音频。MILS依赖于语言模型的自然问题解决能力，而非大量的数据训练，展现了其独特的优势。MILS的工作原理是通过将两个AI模型配对来进行任务解决:一个是“生成器”，负责提出任务解决方案，另一个是“评分器”，用来评估生成方案的效果。评分器提供的反馈可以帮助生成器不断优化答案，直到达到令人满意的结果。举例来说

近日，微软研究院联合华盛顿大学、斯坦福大学、南加州大学、加利福尼亚大学戴维斯分校以及加利福尼亚大学旧金山分校的研究人员共同推出了 LLaVA-Rad，这是一种新型的小型多模态模型（SMM），旨在提升临床放射学报告的生成效率。该模型的推出不仅标志着医学图像处理技术的一大进步，也为放射学的临床应用带来了更多的可能性。在生物医学领域，基于大规模基础模型的研究已经展现出良好的应用前景，尤其是在多模态生成 AI 的发展下，可以同时处理文本与图像，从而支持视觉问答

近日，当虹科技宣布其 BlackEye 多模态视听大模型成功完成与 DeepSeek-R1和 DeepSeek Janus Pro 的深度融合。这一里程碑式的进展标志着当虹科技在视听传媒、工业与卫星、车载智能座舱等多个行业的应用潜力将得到进一步释放。随着科技的迅猛发展，多模态大模型正逐渐成为推动各行业创新的重要力量。通过将 DeepSeek 的技术与 BlackEye 大模型结合，当虹科技实现了对多行业场景的精准调优训练。这不仅使得模型的训练成本大幅降低，还能提供更加优质的用户体验。例如，在视听传媒领域，相关企

近期，阿里巴巴在AI领域迎来了一位重量级人物。据业内人士透露，一位全球顶级人工智能科学家已于近期正式入职阿里巴巴，未来或将专注于AI To C业务的基础大模型研发与应用。这位科学家在工业界和学术界均拥有超过20年的经验，尤其在多模态AI领域成果丰硕，曾主导发表过上百篇大模型顶级论文。

国产大模型DeepSeek发布了全新的Janus-Pro多模态大模型，正式进军文生图领域。这一举动标志着DeepSeek在多模态AI技术上的重大突破。在GenEval和DPG-Bench基准测试中，Janus-Pro-7B不仅击败了OpenAI的DALL-E3，还超越了Stable Diffusion、Emu3-Gen等热门模型。Janus-Pro采用MIT开源协议，这意味着它可以无限制地用于商业场景。DeepSeek表示，Janus-Pro是2024年11月13日发布的JanusFlow大模型的高级版本。相比前代模型，Janus-Pro优化了训练策略，扩展了训练数据，并且模型规模更大。这些改进使得Janus-Pro在多模态理解和文本

近日，智谱科技（Aibot）经历了一次显著的管理层变动。前 Midjourney 亚洲区副总裁王玥婷正式加入智谱，负责多模态产品和市场的发展。此次人事变动引发了业界的广泛关注，尤其是在数字化和人工智能快速发展的背景下，智谱选择引进具有丰富行业经验的人才，意在增强其市场竞争力。智谱的首席战略官张阔和副总裁曲滕相继离职，这一消息虽然引起了一些猜测，但公司内部人士表示，这并不会对公司的融资计划造成影响。智谱正在积极寻求新的投资机会，计划吸引年轻的中高层管理人

据《智能涌现》报道，前 Midjourney 亚洲副总裁王玥婷已加入智谱，主要负责多模态产品和市场。与此同时，智谱首席战略官张阔和副总裁曲滕近日离职。截至发稿前，智谱尚未对此做出回应。新任多模态产品和市场负责人的王玥婷，曾任 AIGC 明星公司 Midjourney 的亚洲副总裁，负责中国区运营。此次加入智谱，被视为智谱在产品和市场方面的一次重要战略调整。业内人士认为，智谱的长板是技术，而产品则是相对短板。此前，智谱已开始引入产品方面的人才，例如微软、阿里老兵胡云华加盟

北京智谱华章科技有限公司近日宣布其旗下的智谱 GLM-PC 智能体已进行升级，并正式向公众开放体验。作为全球首个可以自主操作计算机的多模态智能体，GLM-PC 的技术基础是智谱的多模态大模型 CogAgent。用户只需简单的回车操作，即可体验这一革新性的电脑智能助手。自2024年11月29日 GLM-PC v1.0发布以来，它就一直处于内测阶段。这一版本带来了 “深度思考” 模式，新增了逻辑推理和代码生成功能，同时也对 Windows 系统进行了支持。GLM-PC 的能力涵盖了代码生成、逻辑执行、图形用户界面（

月之暗面公司隆重推出其全新的 SOTA（state-of-the-art）模型 ——k1.5多模态思考模型，标志着在多模态推理和通用推理领域的重大突破。该模型不仅具备出色的多模态处理能力，还展示了卓越的通用推理能力，能够有效应对各类复杂任务。k1.5模型的最大亮点在于其多模态推理能力。它可以同时处理来自文本、图像、声音等不同模态的信息，进而提供更加全面和准确的理解。这一特性使其在视觉问答、视觉常识推理及视觉语言导航等任务中表现尤为出色。举例来说，用户可以通过图像和文本结

近日，北京月之暗面科技有限公司宣布其旗下智能助手 Kimi 迎来了重大技术升级，推出了全新的 k1.5多模态思考模型。这一模型在多模态推理和通用推理能力上达到了行业领先水平，标志着 Kimi 在人工智能领域的又一次突破性进展。