在近日的发布会上，阿里国际 AI 团队揭晓了其最新研发的多模态大模型 Ovis，这一创新的 AI 技术无疑为各行业带来了新的机遇。Ovis 具备强大的图像理解和数据处理能力，让人耳目一新。Ovis 的多模态能力极其强大，它能够处理文本、图像等多种数据，展现出优秀的综合实力。与传统的大语言模型相比，Ovis 不仅能理解文本，还能对图像等非文本信息进行深入分析。比如说，用户只需上传一张菜品的照片，Ovis 便能迅速识别并提供详细的烹饪步骤，帮助用户轻松做出美味佳肴。Ovis通过对图片

OPPO公司宣布其人工智能大模型AndesGPT-2.0在权威第三方评测机构SuperCLUE发布的《中文大模型基准评测2024年8月报告》中表现卓越，荣获多项第一，标志着OPPO在AI领域的技术实力进一步得到行业认可。

随着人工智能技术的不断进步，用户界面（UI）的理解成为了创建直观且有用的AI应用程序的关键挑战。最近，苹果公司的研究人员在一篇新论文中介绍了UI-JEPA，这是一种旨在实现轻量级设备端UI理解的架构，它不仅保持了高性能，还显著降低了UI理解的计算要求。UI理解的挑战在于需要处理跨模式特征，包括图像和自然语言，以捕捉UI序列中的时间关系。尽管多模态大型语言模型（MLLM）如Anthropic Claude3.5Sonnet和OpenAI GPT-4Turbo在个性化规划方面取得了进展，但这些模型需要大量的计算资源、巨

Mistral AI发布了首款开源多模态大模型Pixtral12B，该模型能同时处理图像和文本，具有120亿参数，体积仅为23.64GB，为多模态模型中的轻量级选手。其设计精巧，技术先进，以开放态度提供模型权重下载，极大降低了能耗和部署门槛，提高模型可访问性。Pixtral12B在多项权威基准测试中表现出色，成绩超越多个知名多模态模型。Mistral AI的这一举措推动了多模态模型的开源浪潮，预示着多模态AI技术可能迎来新一轮创新热潮，为AI技术的民主化和普及化做出重要贡献。

近日，边缘计算芯片和软件初创公司 SiMa.ai 宣布推出其新产品 ——MLSoC Modalix 芯片，进一步巩固了其在边缘 AI 市场的地位。SiMa.ai 刚刚完成了7000万美元的融资，投资方包括 Dell Technologies Capital 等行业大腕。

vivo的OS产品副总裁周围宣布，公司将在下个月的开发者大会上发布全新的蓝心大模型。这一新模型将涵盖语言、语音、视觉、多模态以及端侧等多个领域的大模型。周围在声明中强调，人工智能（AI）作为核心技术，将在未来五年内成为手机操作系统发展的关键，它将在影音娱乐、办公协同等不同模块中发挥重要作用。vivo计划在其最新的OriginOS原系统5中整合蓝心大模型，以提供系统级和场景化体验。

在最近的Gartner IT研讨会上，分析师预测到2027年，生成式人工智能（GenAI）解决方案将实现40%的多模态整合，显著高于2023年的1%。多模态GenAI的整合能捕捉不同数据流之间的关系，并扩展在各类数据和应用中的好处，支持人类在不同环境中的多任务执行。Gartner的报告指出，多模态GenAI和开源大语言模型具有极高影响力，将在未来五年内为企业带来竞争优势和快速市场响应。特定领域的GenAI模型和自主代理有望在未来十年实现主流应用。尽管目前GenAI处于“失望的低谷”，但随着行业整合的开始，多模态GenAI转型将增强企业应用，引入更多新功能。开源大语言模型为企业提供了创新潜力，降低了对特定供应商的依赖。特定领域的GenAI模型针对特定行业或任务进行了优化，能够改善企业内用例的对齐，并提升准确性和安全性。自主代理系统在没有人类干预的情况下实现目标，推动业务运营的改善和客户体验的提升，同时可能改变组织内的工作模式。

动易科技，一家成立于2024年6月的人形机器人公司，已获得由峰瑞资本和Z基金领投，多家知名投资机构跟投的数千万元天使轮融资。公司创始人任晓雨，拥有丰富的足式人形机器人和强化学习开发经验。当前，人形机器人在单一任务执行上表现突出，但在实现丰富、泛化动作方面存在挑战，限制了其与多模态大模型的结合潜力。动易科技致力于开发全新的行为运动AI智能体和新一代人形机器人本体，旨在使机器人对多模态大模型更加友好，实现“所想即所做”的目标。他们计划通过模仿学习和强化学习增强机器人的泛化能力。预计明年发布基于行为运动AI智能体的人形机器人demo，并未来将聚焦于社会服务和生产制造等劳动密集型产业。任晓雨表示，公司致力于提升机器人泛化能力，推动AI从虚拟世界进入物理世界，实现“Robot for AI”的愿景。这一融资和技术突破标志着人形机器人领域的新进展，有望推动AI与实体世界的深度融合，为多个行业带来革命性变革。

​MiniMax稀宇科技近日公布数据称，MiniMax自2021年底成立以来，已经构建了万亿参数的MoE文本大模型、语音大模型及图像大模型，并推出了星野、海螺AI等原生应用，同时为企业和开发者提供开放平台API服务。

NVIDIA 联合多所高校推出了 NVEagle，一个能看图聊天的大型视觉语言模型。NVEagle 能解析图片内容并给出准确答案，如识别图片中的人物为黄仁勋。该模型通过将图像转化为视觉标记并与文本嵌入结合，显著提升了对视觉信息的理解能力。面对高分辨率图像处理的挑战，研究团队通过探索不同的视觉编码器和融合策略，构建了包括 Eagle-X5-7B、Eagle-X5-13B 和 Eagle-X5-13B-Chat 在内的三个版本，其中 13B-Chat 特别适用于对话式 AI。NVEagle 采用混合专家机制，根据任务动态选择最佳视觉编码器，提高了对复杂视觉信息的处理能力。在多种基准测试中，NVEagle 的表现均优于其他领先模型，特别是在 OCR、视觉问答和复杂视觉信息处理任务上。

由中国人民大学、北京邮电大学和上海AI Lab等机构组成的研究团队开发了一项名为Ref-AVS的技术，旨在解决人工智能理解复杂物理世界的难题。该技术通过独特的多模态融合方法，整合视频对象分割（VOS）、视频对象参考分割(Ref-VOS)和视听分割(AVS)信息，使AI系统能够准确识别并定位视听场景中的特定物体，无论这些物体是否发声。为验证技术的有效性，研究团队构建了包含40,020个视频帧、6,888个物体和20,261个指代表达式的Ref-AVS Bench大规模数据集。Ref-AVS在一系列实验中展现出卓越的性能，特别是在处理未见过的物体和空引用方面表现出色，证明了其强大的分割能力和泛化能力。这一成果已在ECCV2024上展示，并提供了学习和探索资源，为AI领域的未来发展开辟了新道路。

中国科学院地球化学研究所与阿里云合作，在2024数博会上发布了全球首个“月球科学多模态专业大模型”。该模型基于阿里云通义系列，采用RAG检索增强技术，在阿里云百炼专属版上进行微调与训练，专门用于提高月球撞击坑年代与形态的判别准确率，目前已达80%以上。这一创新模型结合了视觉、多模态及自然语言处理技术，其最佳应用是识别月球上的撞击坑，对于研究月球地质演化具有重要意义。通过该模型，科研人员能更高效地分析月球数据，只需输入撞击坑图像及相关问题，模型即可判定图像类型并提供答案。未来，该模型将嵌入“数字月球云平台”，与FAST等大科学装置一起，作为科研基础设施，推动我国月球与行星科研创新加速。

​中国人工智能领域的知名企业云知声，于2024年8月23日在北京宣布推出其最新研发成果——山海多模态大模型。山海多模态大模型是云知声Atlas人工智能基础设施的一部分，它能够接收和处理文本、音频、图像等多种模态的输入，并实时生成文本、音频和图像的任意组合输出。这种能力使得山海模型不仅能够进行高效的语音交互，还能提供接近人类自然对话的流畅体验。

Google AI Studio发布全新原生提示库，集成了长文本上下文、多模态输入（图像、视频、音频）与结构化输出等功能，旨在为用户在教育、编程、旅行等多领域提供丰富多元的体验。此库包含配方生成器、数学导师、数学作业生成器、寻宝游戏设计、单元测试生成器、旅行建议等实用功能，通过直观展示和全面信息，增强用户探索感与创新体验。用户只需登录Google AI Studio，访问Prompt Gallery，选择合适提示词并输入需求，即可获取所需内容。该工具的推出为内容创作与日常工作的便利性带来了显著提升。

微软发布Phi-3.5-vision，一款轻量级、多模态开源AI模型，专为处理文本和视觉输入设计，支持128K上下文长度。该模型适用于资源受限环境，具备图像理解、OCR、图表解析、多图像摘要等功能，展现出色性能和低延迟。由42亿参数构成，通过高质量数据训练，确保性能和隐私。包含三款模型：轻量级AI、专家混合和多模态模型，均在图像和视频处理基准测试中表现出优异成绩。此模型适合AI驱动应用，特别是端侧运行和复杂视觉推理，提供强大支持。

Salesforce发布了一套名为xGen-MM的开源多模态AI模型，旨在同时理解和生成文本、图像等多种数据类型，显著改变AI研究与应用方式。该模型在多项基准测试中表现出色，与同类开源模型相比性能不俗，包含预训练模型、数据集和微调代码。最大模型拥有40亿个参数，能够处理“交错数据”，实现多任务执行，如同时回答关于多张图像的问题。模型的多样化选择反映了对AI能力与安全伦理平衡的关注。此次开源不仅提供了研究工具，还树立了AI领域透明度的新标杆，可能激励其他科技巨头更开放地分享研究。

阿里团队最新发布的mPLUG-Owl3是一个通用多模态大模型，其核心能力是对长图像序列的理解。通过引入超注意力模块，mPLUG-Owl3能够高效处理视觉和语言信息，实现对图片、视频等多模态数据的深入理解和交流。该模型在推理效率、图像处理能力、以及多模态知识应用上均取得了显著突破，尤其是在视频理解领域，能够在4秒内“看”完一部2小时的电影，并准确回答与之相关的问题。mPLUG-Owl3采用了轻量化的Hyper Attention模块，优化了模型训练和推理效率，使其在多个多模态基准测试中达到或超越了当前最优水平。这一技术的发布不仅标志着多模态大模型领域的重要进展，也为未来在图像、视频处理及人机交互领域提供了新的可能性。

近日，摩尔线程与识因智能宣布达成战略合作，共同推进国产全功能GPU在行业大模型解决方案中的应用。双方已完成摩尔线程夸娥智算集群与识因智能“一叶轻舟”多模态大模型的适配工作，整合了各自在人工智能领域的优势资源，致力于提供更智能化、高效化的服务体验。

多模态生成模型正引领人工智能新潮流，专注于融合视觉与文本数据，以创造多功能AI系统，执行从图像生成到跨数据类型理解与推理的多种任务。其中，关键挑战是提升自回归（AR）模型能力，使其能根据文本描述生成高细节图像。尽管扩散模型在生成高质量图像方面表现出色，AR模型在图像质量、分辨率灵活性及多任务处理能力上相对滞后。上海AI实验室和香港中文大学的研究人员推出Lumina-mGPT，一种基于解码器-only的变换器架构，采用多模态生成预训练方法，旨在克服AR模型限制，实现与扩散模型同等水平的逼真图像生成，同时保持简便性和可扩展性。Lumina-mGPT采用详尽的灵活渐进的监督微调策略，增强图像生成能力，支持高分辨率图像生成（1024×1024像素），细节丰富且与文本提示高度一致。该模型在图像质量、视觉一致性及多种任务支持方面超越前代模型，仅需较小数据集即可实现卓越性能，预示未来AI系统将更加复杂与多才多艺。

腾讯优图实验室等机构发布首个开源多模态大语言模型VITA，旨在填补大型语言模型在处理中文方言的空白。VITA基于Mixtral8×7B模型，扩展了中文词汇量，进行双语指令微调，精通英语与中文。其关键特点包括： 1. **多模态理解**：VITA能处理视频、图像、文本和音频，为开源模型中前所未见。 2. **自然交互**：无需特定唤醒词，可即时响应，保持礼貌不干扰。 3. **开源先锋**：推动多模态理解和交互领域的研究进展。 VITA通过双重模型部署实现精准、及时的交互，不仅能聊天，还能作为健身伙伴、旅游顾问，根据输入内容回答问题。在情感语音合成和多模态支持上，VITA正持续优化，目标是生成高质量音频和视频内容。VITA的开源发布，标志着智能交互方式的革新，未来将提供更智能、更人性化的体验。