据智能涌现消息，中国大模型独角兽阶跃星辰近日完成数亿美元B轮融资，核心投资方包括上海国有资本投资有限公司及旗下基金，腾讯投资、五源资本、启明创投等战略和财务投资人也参与其中。这笔资金将主要用于基础模型研发，进一步提升多模态和复杂推理能力，并拓展C端应用场景。作为国内大模型“六小虎”之一，阶跃星辰以技术扎实和高效产出著称。其自研的Step系列模型涵盖语言、图像、视频及语音等多种模态，并在多个权威榜单上名列前茅。例如，在LiveBench和LMSYS Chatbot Arena的

近日，视觉中国宣布与北京生数科技有限公司建立战略合作关系，双方将共同探索并建立“视觉产业大模型平台及应用”。这一合作致力于深化人工智能技术在视觉内容产业的应用，并推动产业智能化升级，旨在为全球视觉内容创作者和使用者提供更高效、智能的服务。

近日，上海 AI 实验室宣布推出书生·万象InternVL2.5模型。这款开源多模态大型语言模型以其卓越的性能，成为首个在多模态理解基准(MMMU)上超过70%准确率的开源模型，与商业模型如GPT-4o和Claude-3.5-Sonnet等的性能相媲美。

近日，厦门大学信息学院史晓东教授团队的“基于甲骨文多模态大模型的多元信息甲骨文辅助考释模型”入选“探元计划2024”创新探索型项目TOP10榜单，为甲骨文的现代化考释开辟了新路径。甲骨文作为世界四大古文字之一，已有三千多年的历史，是现代汉字的源头。然而，传统的甲骨文考释依赖专家的人工解读，工作繁琐且耗时。尽管采用字形分析和辞例研究等方法，解读过程依旧困难重重。近年来，人工智能特别是深度学习模型的崛起，为甲骨文的辅助考释提供了新思路。厦门大学团

在人工智能的赛道上，中国正以自主创新的姿态稳步前行。11月26日，全球首个千亿参数多模态大模型"紫东太初"3.0在武汉正式亮相，为国产AI技术再添浓墨重彩的一笔。这不仅仅是一个技术迭代，更是中国AI生态系统的重要里程碑。由中国科学院自动化研究所、华为公司和武汉东湖高新区三方联合打造的"紫东太初"，已经成功构建了全球首个覆盖图、文、音三模态的预训练模型。图源备注：图片由AI生成，图片授权服务商Midjourney紫东太初3.0最大的突破在于实现了多模态统一原生编码，这意味

在11月12日的百度世界现场，李彦宏展示了全新的工具类智能体，即百度文库和百度网盘联合开发的“自由画布”。自由画布是一个由文心多模态大模型加持的万能白板，可以帮助用户完成从找资料，到编辑、生成和分享的全部任务。自由画布让用户可以在一块类似“画布”的界面上自由拖拽文档、音视频等富媒体素材，迅速生成多模态内容。李彦宏表示，“这不是期货，而是立即可用的现货，是真正服务于创造的新质生产力!”

​北京智源人工智能研究院联合上海交通大学、中国人民大学、北京大学和北京邮电大学等高校推出了一款名为Video-XL的超长视频理解大模型。这款模型是多模态大模型核心能力的重要展示，也是向通用人工智能（AGI）迈进的关键步骤。与现有多模态大模型相比，Video-XL在处理超过10分钟的长视频时，展现了更优的性能和效率。

在近日的发布会上，阿里国际 AI 团队揭晓了其最新研发的多模态大模型 Ovis，这一创新的 AI 技术无疑为各行业带来了新的机遇。Ovis 具备强大的图像理解和数据处理能力，让人耳目一新。Ovis 的多模态能力极其强大，它能够处理文本、图像等多种数据，展现出优秀的综合实力。与传统的大语言模型相比，Ovis 不仅能理解文本，还能对图像等非文本信息进行深入分析。比如说，用户只需上传一张菜品的照片，Ovis 便能迅速识别并提供详细的烹饪步骤，帮助用户轻松做出美味佳肴。Ovis通过对图片

Mistral AI发布了首款开源多模态大模型Pixtral12B，该模型能同时处理图像和文本，具有120亿参数，体积仅为23.64GB，为多模态模型中的轻量级选手。其设计精巧，技术先进，以开放态度提供模型权重下载，极大降低了能耗和部署门槛，提高模型可访问性。Pixtral12B在多项权威基准测试中表现出色，成绩超越多个知名多模态模型。Mistral AI的这一举措推动了多模态模型的开源浪潮，预示着多模态AI技术可能迎来新一轮创新热潮，为AI技术的民主化和普及化做出重要贡献。

动易科技，一家成立于2024年6月的人形机器人公司，已获得由峰瑞资本和Z基金领投，多家知名投资机构跟投的数千万元天使轮融资。公司创始人任晓雨，拥有丰富的足式人形机器人和强化学习开发经验。当前，人形机器人在单一任务执行上表现突出，但在实现丰富、泛化动作方面存在挑战，限制了其与多模态大模型的结合潜力。动易科技致力于开发全新的行为运动AI智能体和新一代人形机器人本体，旨在使机器人对多模态大模型更加友好，实现“所想即所做”的目标。他们计划通过模仿学习和强化学习增强机器人的泛化能力。预计明年发布基于行为运动AI智能体的人形机器人demo，并未来将聚焦于社会服务和生产制造等劳动密集型产业。任晓雨表示，公司致力于提升机器人泛化能力，推动AI从虚拟世界进入物理世界，实现“Robot for AI”的愿景。这一融资和技术突破标志着人形机器人领域的新进展，有望推动AI与实体世界的深度融合，为多个行业带来革命性变革。

​中国人工智能领域的知名企业云知声，于2024年8月23日在北京宣布推出其最新研发成果——山海多模态大模型。山海多模态大模型是云知声Atlas人工智能基础设施的一部分，它能够接收和处理文本、音频、图像等多种模态的输入，并实时生成文本、音频和图像的任意组合输出。这种能力使得山海模型不仅能够进行高效的语音交互，还能提供接近人类自然对话的流畅体验。

阿里团队最新发布的mPLUG-Owl3是一个通用多模态大模型，其核心能力是对长图像序列的理解。通过引入超注意力模块，mPLUG-Owl3能够高效处理视觉和语言信息，实现对图片、视频等多模态数据的深入理解和交流。该模型在推理效率、图像处理能力、以及多模态知识应用上均取得了显著突破，尤其是在视频理解领域，能够在4秒内“看”完一部2小时的电影，并准确回答与之相关的问题。mPLUG-Owl3采用了轻量化的Hyper Attention模块，优化了模型训练和推理效率，使其在多个多模态基准测试中达到或超越了当前最优水平。这一技术的发布不仅标志着多模态大模型领域的重要进展，也为未来在图像、视频处理及人机交互领域提供了新的可能性。

近日，摩尔线程与识因智能宣布达成战略合作，共同推进国产全功能GPU在行业大模型解决方案中的应用。双方已完成摩尔线程夸娥智算集群与识因智能“一叶轻舟”多模态大模型的适配工作，整合了各自在人工智能领域的优势资源，致力于提供更智能化、高效化的服务体验。

上海人工智能实验室的司南 OpenCompass 团队与魔搭 ModelScope 合作，推出了 Compass Multi-Modal Arena，这是一个大模型评测平台的新版块，专注于多模态大模型。用户可通过上传图像并输入问题，让两个匿名多模态大模型生成答案，然后基于生成内容的质量进行主观评估，选择表现更佳的模型。平台提供简单易用的界面和特色题库，题库侧重于主观视觉问答任务，如迷因理解、艺术品赏析和摄影作品赏析。此平台旨在评估多模态大模型在主观任务上的性能和用户体验，并已向公众开放。

PaddleMIX2.0是百度推出的多模态大模型开发套件，旨在简化多模态应用开发，支持自动驾驶、智慧医疗、搜索引擎等场景。其关键亮点包括： 1. **丰富的模型库**：涵盖图像、文本、视频、音频，新增LLaVA系列模型，提供前沿技术支持。 2. **全流程开发体验**：配备DataCopilot和Auto模块，简化多模态模型训练流程。 3. **高性能训练能力**：DiT模型支持3B规模预训练，采用MixToken策略提升训练吞吐量。 4. **应用构建工具**：AppFlow和ComfyUI简化多模态应用构建和AIGC任务操作。 5. **性能提升**：在大规模预训练、高效精调和高性能推理方面均有显著优化。 PaddleMIX2.0的发布旨在降低开发门槛，推动AI应用创新，通过开源项目促进社区发展。

书生·浦语灵笔(InternLM-XComposer)2.5版本由上海人工智能实验室研发，主打长上下文输入输出能力，能在96K长度中流畅运作，通过24K交错图像-文本数据训练。其升级点包括：高分辨率图像理解、细粒度视频理解、多轮多图对话。应用上，可制作网页、撰写高质量图文文章。评估显示，在16个基准测试中超越开源最先进模型，在关键任务中与GPT-4V、Gemini Pro表现接近或超越，展现强大性能和广泛应用潜力。

近期，多模态大模型的研究和应用取得了显著进展。国外公司如OpenAI、Google、Microsoft等推出了一系列先进的模型，国内也有智谱AI、阶跃星辰等机构在该领域取得了突破。这些模型通常依赖视觉编码器来提取视觉特征并与大语言模型结合，但存在训练分离导致的视觉归纳偏置问题，限制了多模态大模型的部署效率和性能。

“灵动”品牌由网易伏羲依托自主研发的工业级大型模型和AOP（人工智能操作感知）技术理念精心打造。品牌旗下推出的两款旗舰产品——挖掘机器人和装载机器人，已经在超过50个省级重点项目中投入使用，服务于矿山、港口、搅拌站、学校等多样化的应用环境。

["OpenAI、微软被新闻机构起诉侵犯版权","多模态大模型成未来大模型领域主流趋势","OpenAI被传出积极与出版商谈判","AI政策密集出台，高质量数据集版权问题受重视","中信出版与大模型公司合作语言训练","视觉中国在AIGC时代的核心优势"]

["Gemini 是 Google 推出的最新一代 AI 模型，具有多模态的能力。","Gemini 分为三种规模：Ultra、Pro 和 Nano，适用于不同的任务和设备。","Gemini 在性能方面表现出色，在多项基准测试中超越了其他模型。","Gemini 具备多模态推理能力和编码能力，可处理文本、图像、音频等信息。","Gemini 将在明年初向开发者和企业客户推出，有望应用于 Google 产品中。"]