今日，阶跃星辰与吉利汽车集团宣布，联合开源两款阶跃Step系列多模态大模型——Step-Video-T2V视频生成模型和Step-Audio语音模型。其中，阶跃Step-Video-T2V视频生成模型在参数量和性能上均处于全球领先水平。该模型拥有300亿参数量，能够直接生成204帧、540P分辨率的高质量视频，确保生成内容信息密度高、一致性强。评测结果显示，Step-Video-T2V在指令遵循、运动平滑性、物理合理性、美感度等方面均表现出色，显著超越市面上既有的最佳开源视频模型。

近日，当虹科技宣布其 BlackEye 多模态视听大模型成功完成与 DeepSeek-R1和 DeepSeek Janus Pro 的深度融合。这一里程碑式的进展标志着当虹科技在视听传媒、工业与卫星、车载智能座舱等多个行业的应用潜力将得到进一步释放。随着科技的迅猛发展，多模态大模型正逐渐成为推动各行业创新的重要力量。通过将 DeepSeek 的技术与 BlackEye 大模型结合，当虹科技实现了对多行业场景的精准调优训练。这不仅使得模型的训练成本大幅降低，还能提供更加优质的用户体验。例如，在视听传媒领域，相关企

国产大模型DeepSeek发布了全新的Janus-Pro多模态大模型，正式进军文生图领域。这一举动标志着DeepSeek在多模态AI技术上的重大突破。在GenEval和DPG-Bench基准测试中，Janus-Pro-7B不仅击败了OpenAI的DALL-E3，还超越了Stable Diffusion、Emu3-Gen等热门模型。Janus-Pro采用MIT开源协议，这意味着它可以无限制地用于商业场景。DeepSeek表示，Janus-Pro是2024年11月13日发布的JanusFlow大模型的高级版本。相比前代模型，Janus-Pro优化了训练策略，扩展了训练数据，并且模型规模更大。这些改进使得Janus-Pro在多模态理解和文本

阿里巴巴达摩院近日推出了一款名为Valley2的多模态大型语言模型，该模型基于电商场景设计，旨在通过可扩展的视觉-语言架构，提升各领域性能并拓展电商与短视频场景的应用边界。Valley2采用了Qwen2.5作为LLM主干，搭配SigLIP-384视觉编码器，结合MLP层和卷积进行高效特征转换。

近日，前微软亚洲研究院的视觉计算组首席研究员胡瀚正式加盟腾讯，负责混元多模态大模型的研发工作。这一消息引发了业内的广泛关注，胡瀚的加入被认为将为腾讯的人工智能事业注入新的活力。胡瀚于2008年在清华大学获得本科学位，2014年获得博士学位，师从著名教授周杰。他的博士论文于2016年获得中国人工智能学会的优秀博士论文奖，这足以显示他的学术造诣。2012年，胡瀚曾在宾夕法尼亚大学的 GRASP 实验室进行访问研究，之后加入了百度深度学习研究所（IDL），成为了该领域的

前微软亚洲研究院视觉计算组的首席研究员胡瀚已正式加入腾讯，接替已离职的前腾讯混元大模型技术负责人刘威，承担起多模态大模型的研发任务。这一消息引起了业界的广泛关注。胡瀚的学术背景十分扎实。2008年，他从清华大学获得本科学位，并于2014年获得博士学位，师从著名教授周杰。他的博士论文在2016年获得了中国人工智能学会的优秀博士论文奖。2012年，胡瀚曾在宾夕法尼亚大学的 GRASP 实验室进行访问研究，师从史建波教授。此后，他加入了百度深度学习研究所，成为该研究

12月30日，支付宝推出新一代AI视觉搜索产品“探一下”，基于自研的多模态大模型技术，可“用AI之眼探索万物”，提供更快速、有用、趣味的生成式搜索服务。用户遇到感兴趣的事物，就能让AI通过摄像头，识别花草宠物和潮玩、做旅游的随身讲解、查询商品药品详情等，还能趣味解读萌宠照、宝宝照等，晒图不愁配文案。目前该产品已上线支付宝，在首页点击“扫一扫”后左划即可找到它，在支小宝App也能快速访问。2024年以来，支付宝接连发布“支小宝”等AI独立应用及智能体开发平台

有“AI教母”之称的斯坦福大学教授李飞飞及其团队近日发布了一项关于多模态大模型“空间智能”的研究，揭示这些模型在记忆和回忆空间方面已经具备初步能力，并展现出形成局部世界模型的潜力。研究团队开发了用于评估视觉空间智能能力的工具——VSI-Bench，其中包含超过5000个基于288个真实视频的高质量问答对。测试视频涵盖居住空间、专业场所及工业场景，涉及多个地理区域。研究结果显示，尽管多模态模型的总体表现尚低于人类，但在某些任务上已达到或接近人类水平。例如，

据智能涌现消息，中国大模型独角兽阶跃星辰近日完成数亿美元B轮融资，核心投资方包括上海国有资本投资有限公司及旗下基金，腾讯投资、五源资本、启明创投等战略和财务投资人也参与其中。这笔资金将主要用于基础模型研发，进一步提升多模态和复杂推理能力，并拓展C端应用场景。作为国内大模型“六小虎”之一，阶跃星辰以技术扎实和高效产出著称。其自研的Step系列模型涵盖语言、图像、视频及语音等多种模态，并在多个权威榜单上名列前茅。例如，在LiveBench和LMSYS Chatbot Arena的

近日，视觉中国宣布与北京生数科技有限公司建立战略合作关系，双方将共同探索并建立“视觉产业大模型平台及应用”。这一合作致力于深化人工智能技术在视觉内容产业的应用，并推动产业智能化升级，旨在为全球视觉内容创作者和使用者提供更高效、智能的服务。

近日，上海 AI 实验室宣布推出书生·万象InternVL2.5模型。这款开源多模态大型语言模型以其卓越的性能，成为首个在多模态理解基准(MMMU)上超过70%准确率的开源模型，与商业模型如GPT-4o和Claude-3.5-Sonnet等的性能相媲美。

近日，厦门大学信息学院史晓东教授团队的“基于甲骨文多模态大模型的多元信息甲骨文辅助考释模型”入选“探元计划2024”创新探索型项目TOP10榜单，为甲骨文的现代化考释开辟了新路径。甲骨文作为世界四大古文字之一，已有三千多年的历史，是现代汉字的源头。然而，传统的甲骨文考释依赖专家的人工解读，工作繁琐且耗时。尽管采用字形分析和辞例研究等方法，解读过程依旧困难重重。近年来，人工智能特别是深度学习模型的崛起，为甲骨文的辅助考释提供了新思路。厦门大学团

在人工智能的赛道上，中国正以自主创新的姿态稳步前行。11月26日，全球首个千亿参数多模态大模型"紫东太初"3.0在武汉正式亮相，为国产AI技术再添浓墨重彩的一笔。这不仅仅是一个技术迭代，更是中国AI生态系统的重要里程碑。由中国科学院自动化研究所、华为公司和武汉东湖高新区三方联合打造的"紫东太初"，已经成功构建了全球首个覆盖图、文、音三模态的预训练模型。图源备注：图片由AI生成，图片授权服务商Midjourney紫东太初3.0最大的突破在于实现了多模态统一原生编码，这意味

在11月12日的百度世界现场，李彦宏展示了全新的工具类智能体，即百度文库和百度网盘联合开发的“自由画布”。自由画布是一个由文心多模态大模型加持的万能白板，可以帮助用户完成从找资料，到编辑、生成和分享的全部任务。自由画布让用户可以在一块类似“画布”的界面上自由拖拽文档、音视频等富媒体素材，迅速生成多模态内容。李彦宏表示，“这不是期货，而是立即可用的现货，是真正服务于创造的新质生产力!”

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

在近日的发布会上，阿里国际 AI 团队揭晓了其最新研发的多模态大模型 Ovis，这一创新的 AI 技术无疑为各行业带来了新的机遇。Ovis 具备强大的图像理解和数据处理能力，让人耳目一新。Ovis 的多模态能力极其强大，它能够处理文本、图像等多种数据，展现出优秀的综合实力。与传统的大语言模型相比，Ovis 不仅能理解文本，还能对图像等非文本信息进行深入分析。比如说，用户只需上传一张菜品的照片，Ovis 便能迅速识别并提供详细的烹饪步骤，帮助用户轻松做出美味佳肴。Ovis通过对图片

Mistral AI发布了首款开源多模态大模型Pixtral12B，该模型能同时处理图像和文本，具有120亿参数，体积仅为23.64GB，为多模态模型中的轻量级选手。其设计精巧，技术先进，以开放态度提供模型权重下载，极大降低了能耗和部署门槛，提高模型可访问性。Pixtral12B在多项权威基准测试中表现出色，成绩超越多个知名多模态模型。Mistral AI的这一举措推动了多模态模型的开源浪潮，预示着多模态AI技术可能迎来新一轮创新热潮，为AI技术的民主化和普及化做出重要贡献。

动易科技，一家成立于2024年6月的人形机器人公司，已获得由峰瑞资本和Z基金领投，多家知名投资机构跟投的数千万元天使轮融资。公司创始人任晓雨，拥有丰富的足式人形机器人和强化学习开发经验。当前，人形机器人在单一任务执行上表现突出，但在实现丰富、泛化动作方面存在挑战，限制了其与多模态大模型的结合潜力。动易科技致力于开发全新的行为运动AI智能体和新一代人形机器人本体，旨在使机器人对多模态大模型更加友好，实现“所想即所做”的目标。他们计划通过模仿学习和强化学习增强机器人的泛化能力。预计明年发布基于行为运动AI智能体的人形机器人demo，并未来将聚焦于社会服务和生产制造等劳动密集型产业。任晓雨表示，公司致力于提升机器人泛化能力，推动AI从虚拟世界进入物理世界，实现“Robot for AI”的愿景。这一融资和技术突破标志着人形机器人领域的新进展，有望推动AI与实体世界的深度融合，为多个行业带来革命性变革。

​中国人工智能领域的知名企业云知声，于2024年8月23日在北京宣布推出其最新研发成果——山海多模态大模型。山海多模态大模型是云知声Atlas人工智能基础设施的一部分，它能够接收和处理文本、音频、图像等多种模态的输入，并实时生成文本、音频和图像的任意组合输出。这种能力使得山海模型不仅能够进行高效的语音交互，还能提供接近人类自然对话的流畅体验。

阿里团队最新发布的mPLUG-Owl3是一个通用多模态大模型，其核心能力是对长图像序列的理解。通过引入超注意力模块，mPLUG-Owl3能够高效处理视觉和语言信息，实现对图片、视频等多模态数据的深入理解和交流。该模型在推理效率、图像处理能力、以及多模态知识应用上均取得了显著突破，尤其是在视频理解领域，能够在4秒内“看”完一部2小时的电影，并准确回答与之相关的问题。mPLUG-Owl3采用了轻量化的Hyper Attention模块，优化了模型训练和推理效率，使其在多个多模态基准测试中达到或超越了当前最优水平。这一技术的发布不仅标志着多模态大模型领域的重要进展，也为未来在图像、视频处理及人机交互领域提供了新的可能性。