有“AI教母”之称的斯坦福大学教授李飞飞及其团队近日发布了一项关于多模态大模型“空间智能”的研究，揭示这些模型在记忆和回忆空间方面已经具备初步能力，并展现出形成局部世界模型的潜力。研究团队开发了用于评估视觉空间智能能力的工具——VSI-Bench，其中包含超过5000个基于288个真实视频的高质量问答对。测试视频涵盖居住空间、专业场所及工业场景，涉及多个地理区域。研究结果显示，尽管多模态模型的总体表现尚低于人类，但在某些任务上已达到或接近人类水平。例如，

据智能涌现消息，中国大模型独角兽阶跃星辰近日完成数亿美元B轮融资，核心投资方包括上海国有资本投资有限公司及旗下基金，腾讯投资、五源资本、启明创投等战略和财务投资人也参与其中。这笔资金将主要用于基础模型研发，进一步提升多模态和复杂推理能力，并拓展C端应用场景。作为国内大模型“六小虎”之一，阶跃星辰以技术扎实和高效产出著称。其自研的Step系列模型涵盖语言、图像、视频及语音等多种模态，并在多个权威榜单上名列前茅。例如，在LiveBench和LMSYS Chatbot Arena的

近日，视觉中国宣布与北京生数科技有限公司建立战略合作关系，双方将共同探索并建立“视觉产业大模型平台及应用”。这一合作致力于深化人工智能技术在视觉内容产业的应用，并推动产业智能化升级，旨在为全球视觉内容创作者和使用者提供更高效、智能的服务。

近日，上海 AI 实验室宣布推出书生·万象InternVL2.5模型。这款开源多模态大型语言模型以其卓越的性能，成为首个在多模态理解基准(MMMU)上超过70%准确率的开源模型，与商业模型如GPT-4o和Claude-3.5-Sonnet等的性能相媲美。

近日，厦门大学信息学院史晓东教授团队的“基于甲骨文多模态大模型的多元信息甲骨文辅助考释模型”入选“探元计划2024”创新探索型项目TOP10榜单，为甲骨文的现代化考释开辟了新路径。甲骨文作为世界四大古文字之一，已有三千多年的历史，是现代汉字的源头。然而，传统的甲骨文考释依赖专家的人工解读，工作繁琐且耗时。尽管采用字形分析和辞例研究等方法，解读过程依旧困难重重。近年来，人工智能特别是深度学习模型的崛起，为甲骨文的辅助考释提供了新思路。厦门大学团

在人工智能的赛道上，中国正以自主创新的姿态稳步前行。11月26日，全球首个千亿参数多模态大模型"紫东太初"3.0在武汉正式亮相，为国产AI技术再添浓墨重彩的一笔。这不仅仅是一个技术迭代，更是中国AI生态系统的重要里程碑。由中国科学院自动化研究所、华为公司和武汉东湖高新区三方联合打造的"紫东太初"，已经成功构建了全球首个覆盖图、文、音三模态的预训练模型。图源备注：图片由AI生成，图片授权服务商Midjourney紫东太初3.0最大的突破在于实现了多模态统一原生编码，这意味

在11月12日的百度世界现场，李彦宏展示了全新的工具类智能体，即百度文库和百度网盘联合开发的“自由画布”。自由画布是一个由文心多模态大模型加持的万能白板，可以帮助用户完成从找资料，到编辑、生成和分享的全部任务。自由画布让用户可以在一块类似“画布”的界面上自由拖拽文档、音视频等富媒体素材，迅速生成多模态内容。李彦宏表示，“这不是期货，而是立即可用的现货，是真正服务于创造的新质生产力!”

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

在近日的发布会上，阿里国际 AI 团队揭晓了其最新研发的多模态大模型 Ovis，这一创新的 AI 技术无疑为各行业带来了新的机遇。Ovis 具备强大的图像理解和数据处理能力，让人耳目一新。Ovis 的多模态能力极其强大，它能够处理文本、图像等多种数据，展现出优秀的综合实力。与传统的大语言模型相比，Ovis 不仅能理解文本，还能对图像等非文本信息进行深入分析。比如说，用户只需上传一张菜品的照片，Ovis 便能迅速识别并提供详细的烹饪步骤，帮助用户轻松做出美味佳肴。Ovis通过对图片

Mistral AI发布了首款开源多模态大模型Pixtral12B，该模型能同时处理图像和文本，具有120亿参数，体积仅为23.64GB，为多模态模型中的轻量级选手。其设计精巧，技术先进，以开放态度提供模型权重下载，极大降低了能耗和部署门槛，提高模型可访问性。Pixtral12B在多项权威基准测试中表现出色，成绩超越多个知名多模态模型。Mistral AI的这一举措推动了多模态模型的开源浪潮，预示着多模态AI技术可能迎来新一轮创新热潮，为AI技术的民主化和普及化做出重要贡献。

动易科技，一家成立于2024年6月的人形机器人公司，已获得由峰瑞资本和Z基金领投，多家知名投资机构跟投的数千万元天使轮融资。公司创始人任晓雨，拥有丰富的足式人形机器人和强化学习开发经验。当前，人形机器人在单一任务执行上表现突出，但在实现丰富、泛化动作方面存在挑战，限制了其与多模态大模型的结合潜力。动易科技致力于开发全新的行为运动AI智能体和新一代人形机器人本体，旨在使机器人对多模态大模型更加友好，实现“所想即所做”的目标。他们计划通过模仿学习和强化学习增强机器人的泛化能力。预计明年发布基于行为运动AI智能体的人形机器人demo，并未来将聚焦于社会服务和生产制造等劳动密集型产业。任晓雨表示，公司致力于提升机器人泛化能力，推动AI从虚拟世界进入物理世界，实现“Robot for AI”的愿景。这一融资和技术突破标志着人形机器人领域的新进展，有望推动AI与实体世界的深度融合，为多个行业带来革命性变革。

​中国人工智能领域的知名企业云知声，于2024年8月23日在北京宣布推出其最新研发成果——山海多模态大模型。山海多模态大模型是云知声Atlas人工智能基础设施的一部分，它能够接收和处理文本、音频、图像等多种模态的输入，并实时生成文本、音频和图像的任意组合输出。这种能力使得山海模型不仅能够进行高效的语音交互，还能提供接近人类自然对话的流畅体验。

阿里团队最新发布的mPLUG-Owl3是一个通用多模态大模型，其核心能力是对长图像序列的理解。通过引入超注意力模块，mPLUG-Owl3能够高效处理视觉和语言信息，实现对图片、视频等多模态数据的深入理解和交流。该模型在推理效率、图像处理能力、以及多模态知识应用上均取得了显著突破，尤其是在视频理解领域，能够在4秒内“看”完一部2小时的电影，并准确回答与之相关的问题。mPLUG-Owl3采用了轻量化的Hyper Attention模块，优化了模型训练和推理效率，使其在多个多模态基准测试中达到或超越了当前最优水平。这一技术的发布不仅标志着多模态大模型领域的重要进展，也为未来在图像、视频处理及人机交互领域提供了新的可能性。

近日，摩尔线程与识因智能宣布达成战略合作，共同推进国产全功能GPU在行业大模型解决方案中的应用。双方已完成摩尔线程夸娥智算集群与识因智能“一叶轻舟”多模态大模型的适配工作，整合了各自在人工智能领域的优势资源，致力于提供更智能化、高效化的服务体验。

上海人工智能实验室的司南 OpenCompass 团队与魔搭 ModelScope 合作，推出了 Compass Multi-Modal Arena，这是一个大模型评测平台的新版块，专注于多模态大模型。用户可通过上传图像并输入问题，让两个匿名多模态大模型生成答案，然后基于生成内容的质量进行主观评估，选择表现更佳的模型。平台提供简单易用的界面和特色题库，题库侧重于主观视觉问答任务，如迷因理解、艺术品赏析和摄影作品赏析。此平台旨在评估多模态大模型在主观任务上的性能和用户体验，并已向公众开放。

PaddleMIX2.0是百度推出的多模态大模型开发套件，旨在简化多模态应用开发，支持自动驾驶、智慧医疗、搜索引擎等场景。其关键亮点包括： 1. **丰富的模型库**：涵盖图像、文本、视频、音频，新增LLaVA系列模型，提供前沿技术支持。 2. **全流程开发体验**：配备DataCopilot和Auto模块，简化多模态模型训练流程。 3. **高性能训练能力**：DiT模型支持3B规模预训练，采用MixToken策略提升训练吞吐量。 4. **应用构建工具**：AppFlow和ComfyUI简化多模态应用构建和AIGC任务操作。 5. **性能提升**：在大规模预训练、高效精调和高性能推理方面均有显著优化。 PaddleMIX2.0的发布旨在降低开发门槛，推动AI应用创新，通过开源项目促进社区发展。

书生·浦语灵笔(InternLM-XComposer)2.5版本由上海人工智能实验室研发，主打长上下文输入输出能力，能在96K长度中流畅运作，通过24K交错图像-文本数据训练。其升级点包括：高分辨率图像理解、细粒度视频理解、多轮多图对话。应用上，可制作网页、撰写高质量图文文章。评估显示，在16个基准测试中超越开源最先进模型，在关键任务中与GPT-4V、Gemini Pro表现接近或超越，展现强大性能和广泛应用潜力。

近期，多模态大模型的研究和应用取得了显著进展。国外公司如OpenAI、Google、Microsoft等推出了一系列先进的模型，国内也有智谱AI、阶跃星辰等机构在该领域取得了突破。这些模型通常依赖视觉编码器来提取视觉特征并与大语言模型结合，但存在训练分离导致的视觉归纳偏置问题，限制了多模态大模型的部署效率和性能。

“灵动”品牌由网易伏羲依托自主研发的工业级大型模型和AOP（人工智能操作感知）技术理念精心打造。品牌旗下推出的两款旗舰产品——挖掘机器人和装载机器人，已经在超过50个省级重点项目中投入使用，服务于矿山、港口、搅拌站、学校等多样化的应用环境。

["OpenAI、微软被新闻机构起诉侵犯版权","多模态大模型成未来大模型领域主流趋势","OpenAI被传出积极与出版商谈判","AI政策密集出台，高质量数据集版权问题受重视","中信出版与大模型公司合作语言训练","视觉中国在AIGC时代的核心优势"]