在11月12日的百度世界现场，李彦宏展示了全新的工具类智能体，即百度文库和百度网盘联合开发的“自由画布”。自由画布是一个由文心多模态大模型加持的万能白板，可以帮助用户完成从找资料，到编辑、生成和分享的全部任务。自由画布让用户可以在一块类似“画布”的界面上自由拖拽文档、音视频等富媒体素材，迅速生成多模态内容。李彦宏表示，“这不是期货，而是立即可用的现货，是真正服务于创造的新质生产力!”

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

在近日的发布会上，阿里国际 AI 团队揭晓了其最新研发的多模态大模型 Ovis，这一创新的 AI 技术无疑为各行业带来了新的机遇。Ovis 具备强大的图像理解和数据处理能力，让人耳目一新。Ovis 的多模态能力极其强大，它能够处理文本、图像等多种数据，展现出优秀的综合实力。与传统的大语言模型相比，Ovis 不仅能理解文本，还能对图像等非文本信息进行深入分析。比如说，用户只需上传一张菜品的照片，Ovis 便能迅速识别并提供详细的烹饪步骤，帮助用户轻松做出美味佳肴。Ovis通过对图片

Mistral AI发布了首款开源多模态大模型Pixtral12B，该模型能同时处理图像和文本，具有120亿参数，体积仅为23.64GB，为多模态模型中的轻量级选手。其设计精巧，技术先进，以开放态度提供模型权重下载，极大降低了能耗和部署门槛，提高模型可访问性。Pixtral12B在多项权威基准测试中表现出色，成绩超越多个知名多模态模型。Mistral AI的这一举措推动了多模态模型的开源浪潮，预示着多模态AI技术可能迎来新一轮创新热潮，为AI技术的民主化和普及化做出重要贡献。

动易科技，一家成立于2024年6月的人形机器人公司，已获得由峰瑞资本和Z基金领投，多家知名投资机构跟投的数千万元天使轮融资。公司创始人任晓雨，拥有丰富的足式人形机器人和强化学习开发经验。当前，人形机器人在单一任务执行上表现突出，但在实现丰富、泛化动作方面存在挑战，限制了其与多模态大模型的结合潜力。动易科技致力于开发全新的行为运动AI智能体和新一代人形机器人本体，旨在使机器人对多模态大模型更加友好，实现“所想即所做”的目标。他们计划通过模仿学习和强化学习增强机器人的泛化能力。预计明年发布基于行为运动AI智能体的人形机器人demo，并未来将聚焦于社会服务和生产制造等劳动密集型产业。任晓雨表示，公司致力于提升机器人泛化能力，推动AI从虚拟世界进入物理世界，实现“Robot for AI”的愿景。这一融资和技术突破标志着人形机器人领域的新进展，有望推动AI与实体世界的深度融合，为多个行业带来革命性变革。

​中国人工智能领域的知名企业云知声，于2024年8月23日在北京宣布推出其最新研发成果——山海多模态大模型。山海多模态大模型是云知声Atlas人工智能基础设施的一部分，它能够接收和处理文本、音频、图像等多种模态的输入，并实时生成文本、音频和图像的任意组合输出。这种能力使得山海模型不仅能够进行高效的语音交互，还能提供接近人类自然对话的流畅体验。

阿里团队最新发布的mPLUG-Owl3是一个通用多模态大模型，其核心能力是对长图像序列的理解。通过引入超注意力模块，mPLUG-Owl3能够高效处理视觉和语言信息，实现对图片、视频等多模态数据的深入理解和交流。该模型在推理效率、图像处理能力、以及多模态知识应用上均取得了显著突破，尤其是在视频理解领域，能够在4秒内“看”完一部2小时的电影，并准确回答与之相关的问题。mPLUG-Owl3采用了轻量化的Hyper Attention模块，优化了模型训练和推理效率，使其在多个多模态基准测试中达到或超越了当前最优水平。这一技术的发布不仅标志着多模态大模型领域的重要进展，也为未来在图像、视频处理及人机交互领域提供了新的可能性。

近日，摩尔线程与识因智能宣布达成战略合作，共同推进国产全功能GPU在行业大模型解决方案中的应用。双方已完成摩尔线程夸娥智算集群与识因智能“一叶轻舟”多模态大模型的适配工作，整合了各自在人工智能领域的优势资源，致力于提供更智能化、高效化的服务体验。

上海人工智能实验室的司南 OpenCompass 团队与魔搭 ModelScope 合作，推出了 Compass Multi-Modal Arena，这是一个大模型评测平台的新版块，专注于多模态大模型。用户可通过上传图像并输入问题，让两个匿名多模态大模型生成答案，然后基于生成内容的质量进行主观评估，选择表现更佳的模型。平台提供简单易用的界面和特色题库，题库侧重于主观视觉问答任务，如迷因理解、艺术品赏析和摄影作品赏析。此平台旨在评估多模态大模型在主观任务上的性能和用户体验，并已向公众开放。

PaddleMIX2.0是百度推出的多模态大模型开发套件，旨在简化多模态应用开发，支持自动驾驶、智慧医疗、搜索引擎等场景。其关键亮点包括： 1. **丰富的模型库**：涵盖图像、文本、视频、音频，新增LLaVA系列模型，提供前沿技术支持。 2. **全流程开发体验**：配备DataCopilot和Auto模块，简化多模态模型训练流程。 3. **高性能训练能力**：DiT模型支持3B规模预训练，采用MixToken策略提升训练吞吐量。 4. **应用构建工具**：AppFlow和ComfyUI简化多模态应用构建和AIGC任务操作。 5. **性能提升**：在大规模预训练、高效精调和高性能推理方面均有显著优化。 PaddleMIX2.0的发布旨在降低开发门槛，推动AI应用创新，通过开源项目促进社区发展。

书生·浦语灵笔(InternLM-XComposer)2.5版本由上海人工智能实验室研发，主打长上下文输入输出能力，能在96K长度中流畅运作，通过24K交错图像-文本数据训练。其升级点包括：高分辨率图像理解、细粒度视频理解、多轮多图对话。应用上，可制作网页、撰写高质量图文文章。评估显示，在16个基准测试中超越开源最先进模型，在关键任务中与GPT-4V、Gemini Pro表现接近或超越，展现强大性能和广泛应用潜力。

近期，多模态大模型的研究和应用取得了显著进展。国外公司如OpenAI、Google、Microsoft等推出了一系列先进的模型，国内也有智谱AI、阶跃星辰等机构在该领域取得了突破。这些模型通常依赖视觉编码器来提取视觉特征并与大语言模型结合，但存在训练分离导致的视觉归纳偏置问题，限制了多模态大模型的部署效率和性能。

“灵动”品牌由网易伏羲依托自主研发的工业级大型模型和AOP（人工智能操作感知）技术理念精心打造。品牌旗下推出的两款旗舰产品——挖掘机器人和装载机器人，已经在超过50个省级重点项目中投入使用，服务于矿山、港口、搅拌站、学校等多样化的应用环境。

["OpenAI、微软被新闻机构起诉侵犯版权","多模态大模型成未来大模型领域主流趋势","OpenAI被传出积极与出版商谈判","AI政策密集出台，高质量数据集版权问题受重视","中信出版与大模型公司合作语言训练","视觉中国在AIGC时代的核心优势"]

["Gemini 是 Google 推出的最新一代 AI 模型，具有多模态的能力。","Gemini 分为三种规模：Ultra、Pro 和 Nano，适用于不同的任务和设备。","Gemini 在性能方面表现出色，在多项基准测试中超越了其他模型。","Gemini 具备多模态推理能力和编码能力，可处理文本、图像、音频等信息。","Gemini 将在明年初向开发者和企业客户推出，有望应用于 Google 产品中。"]

["快手启动了新的 AI 战略，研发了超千亿规模的大模型和多模态大模型","快手推出了文生图大模型 “可图”，能生成细节丰富、风格多样的绘画作品","快手加速推进大模型的场景化应用，提供更多多模态的 AI 生成内容服务","快手旗下产品具备多种 AI 生成创作能力，帮助创作者轻松创作不同风格的内容","快手致力于保持国内领先地位，以应对可能到来的新技术突破"]

["思谋科技发布全球首个工业多模态大模型 IndustryGPT V1.0。","这个大模型能够准确回答制造业的问题、识别工业缺陷，并提供决策支持。","与跨国企业签署战略合作协议，共同推动全球工业制造进入智能时代。","发布的新模型对智能制造、数智化创新领域具有重大意义。","新模型的发布将为工业制造领域带来技术革新和发展。"]

["面壁智能多模态大模型应用「面壁露卡 Luca」正式面向公众开放服务。","「面壁露卡 Luca」是面壁智能基于自研千亿参数基座模型 CPM 打造的多模态智能对话助手。","Luca 具备中英文语言对话、代码、知识、逻辑及图片理解能力。","面壁智能将进一步将 AI Agent 技术与 Luca 结合，发挥大模型应用潜能。","面壁智能与清华大学、OpenBMB 开源社区合作，推动大模型技术在各行各业的落地。"]

["马毅团队提出了 EMT 框架，评估微调后的多模态大模型（MLLM）的灾难性遗忘。","实验表明，微调 MLLM 在提升微调数据集性能的同时，也导致其他数据集性能下降。","微调过程中，MLLM 会产生与微调数据集相关的幻觉文本，忽略原始问题。","研究为后续工作提供了框架和基准，模型设计和训练技巧仍需进一步优化。","马毅团队首次系统评估了 MLLM 中的灾难性遗忘问题，平衡不同能力之间的权衡。"]

["OpenAI发布新指令语言模型 InstructGPT-3.5，性能媲美GPT-3.5 Turbo。","计划推出多模态大模型GPT-Vision和代号“Gobi”的更强大多模态模型。","OpenAI积极应对谷歌Gemini的竞争，保持AI领域的领导地位。"]