搜索全球AI产品动态

阿里云通义千问Qwen团队宣布推出Qwen模型家族中的新一代端到端多模态旗舰模型——Qwen2.5-Omni。这一全新模型专为全方位多模态感知而设计，能够无缝处理文本、图像、音频和视频等多种输入形式，并通过实时流式响应同时生成文本与自然语音合成输出。

在人工智能领域，阿里巴巴再次带来了重磅消息。近日，阿里开源了最新的多模态模型 ——Qwen2.5-VL-32B-Instruct。这款新模型是 Qwen2.5系列中的一员，其他版本包括3B、7B 和72B，而32B 版本在保持性能的同时，更加注重便捷的本地运行体验。Qwen2.5-VL-32B 经过强化学习的优化，在多个方面表现出色。首先，它的回答更加符合人类的认知习惯，这意味着用户在与模型互动时，将能获得更自然和流畅的交流体验。其次，这款模型在数学推理能力方面的提升也十分显著。无论是复杂的数学题还是几何体

谷歌 CEO 桑达尔・皮查伊（Sundar Pichai）在一场发布会上宣布，谷歌开源了最新的多模态大模型 Gemma-3，该模型以低成本、高性能为特点，备受关注。Gemma-3提供了四种不同参数规模的选项，分别为10亿、40亿、120亿和270亿参数。令人惊讶的是，最大参数的270亿模型只需一张 H100显卡即可高效推理，而同类模型往往需要十倍的算力，这使 Gemma-3成为目前算力要求最低的高性能模型之一。根据最新的测试数据，Gemma-3在各类对话模型的评比中表现不俗，仅次于知名的 DeepSeek 模型，超越了 OpenAI 的 o3-m

在人工智能领域，阿里通义实验室团队近日宣布开源其最新研发的多模态模型 ——R1-Omni。这一模型结合了强化学习与可验证奖励（RLVR）方法，展现出了在处理音频和视频信息方面的卓越能力。R1-Omni 的亮点在于其透明性，让我们得以更清晰地理解各模态在决策过程中的作用，尤其是在情绪识别等任务中。随着 DeepSeek R1的推出，强化学习在大模型的应用潜力被不断挖掘。RLVR 方法为多模态任务带来了新的优化思路，能够有效处理几何推理、视觉计数等复杂任务。尽管目前的研究多集中于图像

近日，魔乐社区（Modelers）正式上线了由阶跃星辰研发的 Step-Video 和 Step-Audio 两款开源多模态大模型。这两款模型分别用于视频生成和语音交互，旨在为开发者和企业用户提供更强大的 AI 工具。Step-Video 模型的全名为 Step-Video-T2V，这是一款参数量高达300亿的全球最大开源视频生成模型。该模型能够直接生成204帧、540P 分辨率的高质量视频，并在指令遵循、运动平滑性、物理合理性以及美感等方面，表现超越了市场上现有的顶尖开源视频模型。另一方面，Step-Audio 则是业内首款能够生成多种情

近年来，大语言模型（LLM）在人工智能领域取得了显著进展，尤其是在多模态融合方面。华中科技大学、字节跳动与香港大学的联合团队最近提出了一种新型的多模态生成框架 ——Liquid，旨在解决当前主流多模态模型在视觉处理上的局限性。传统的多模态大模型依赖复杂的外部视觉模块，这不仅增加了系统的复杂性，还限制了其扩展性。Liquid 的创新之处在于，它采用 VQGAN 作为图像分词器，摒弃了对外部视觉组件的依赖，通过将图像编码为离散的视觉 token，使得模型可以直接与文本 token 共

全球开发者目光再次聚焦中国!在备受瞩目的全球开发者大会（GDC）上，阿里云魔搭社区重磅宣布，首发上线阶跃星辰最新开源的两款多模态模型，包括 全球参数量最大的开源视频生成模型 Step-Video-T2V，以及 业界首款产品级开源语音交互模型 Step-Audio。 这一消息瞬间引爆全球AI开源社区，再次彰显中国在人工智能领域的强劲创新实力。作为中国最大的AI模型社区，阿里云魔搭社区此次发布的这两款重磅模型，无疑是近期全球多模态领域最受瞩目的开源成果。 Step-Video-T2V 以其巨大的参数规模

近日，微软研究院联合华盛顿大学、斯坦福大学、南加州大学、加利福尼亚大学戴维斯分校以及加利福尼亚大学旧金山分校的研究人员共同推出了 LLaVA-Rad，这是一种新型的小型多模态模型（SMM），旨在提升临床放射学报告的生成效率。该模型的推出不仅标志着医学图像处理技术的一大进步，也为放射学的临床应用带来了更多的可能性。在生物医学领域，基于大规模基础模型的研究已经展现出良好的应用前景，尤其是在多模态生成 AI 的发展下，可以同时处理文本与图像，从而支持视觉问答

近年来，人工智能技术取得了显著进展，但在计算效率与多功能性之间仍然存在挑战。许多先进的多模态模型，如 GPT-4，通常需要大量的计算资源，这限制了它们在高端服务器上的使用，导致智能技术难以在智能手机和平板电脑等边缘设备上得到有效利用。此外，实时处理视频分析或语音转文本等任务仍面临技术障碍，突显出对高效、灵活的 AI 模型的需求，以便在有限的硬件条件下实现无缝运作。为了解决这些问题，OpenBMB 最近推出了 MiniCPM-o2.6，这款具有80亿参数架构的模型，旨在支持视

李飞飞团队推出了一种新的多模态模型，该模型能够理解和生成人类的动作，并通过结合语言模型，实现了对口头和非口头语言的统一处理。 这一突破性的研究，使得机器不仅可以理解人类的指令，还能读懂动作中蕴含的情绪，从而更自然地进行人机交互。该模型的核心在于其多模态语言模型框架，能够接收音频、动作和文本等多种形式的输入，并输出所需的模态数据。 结合生成式预训练策略，该模型在多个任务上展现出卓越的性能。 例如，在协同语音手势生成方面，该模型不仅超越了

北京智谱华章科技有限公司宣布，其旗下的智谱开放平台BigModel上线了首个免费的多模态API——GLM-4V-Flash。这一新模型基于4V系列模型的优秀能力，在图像处理方面实现了精确度的提升，进一步降低了开发者在各领域深入挖掘大模型的门槛。

亚马逊近日在其 AWS re:Invent 大会上宣布了一系列新的 AI 基础模型，采用全新的 “Nova” 品牌。这些模型将作为亚马逊 Bedrock 模型库的一部分提供，标志着亚马逊在人工智能领域的进一步发展。Amazon 在一篇博文中表示，现在有三种“理解”模型可用:Nova Micro，这是一款专为速度和成本优化的文本模型。 Nova Lite，这是一款 “非常低成本” 的多模态模型，可以同时处理图像、视频和文本，并生成相应的文本内容。 Nova Pro，这是一款 “高能力” 的多模态模型，适合更复杂的任务。此外，亚马逊

智谱科技近日宣布开源其端侧大语言和多模态模型GLM-Edge系列，这一举措标志着公司在端侧真实落地使用场景中的一次重要尝试。GLM-Edge系列由四种不同尺寸的模型组成，包括GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B和GLM-Edge-V-5B，分别针对手机、车机等移动平台以及PC等桌面平台进行了优化。

近日，北京大学等科研团队宣布发布了一款名为 LLaVA-o1的多模态开源模型，据称这是首个能够进行自发、系统推理的视觉语言模型，堪比 GPT-o1。该模型在六个具有挑战性的多模态基准测试中表现优异，其11B 参数的版本超越了其他竞争者，如 Gemini-1.5-pro、GPT-4o-mini 和 Llama-3.2-90B-Vision-Instruct。LLaVA-o1基于 Llama-3.2-Vision 模型，采用了 “慢思考” 推理机制，能够自主进行更加复杂的推理过程，超越了传统的思维链提示方法。在多模态推理基准测试中，LLaVA-o1的表现超出了其基础模型8.9%。该模型的

法国人工智能初创公司 Mistral AI 宣布为其 Le Chat AI 助手添加了一系列新功能，包括集成的网络搜索、图像生成以及新推出的 Pixtral Large 模型。Le Chat 功能升级用户现在可以通过 Le Chat 直接访问实时网页内容，轻松获取所需的信息。同时，借助 Black Forest Labs 的 Flux Pro 模型，用户还能生成高质量的图像，满足多种创作需求。除了网络搜索和图像生成，Le Chat 还引入了一个画布界面，让用户可以在聊天窗口内直接编辑生成的内容。这一功能使得用户能够编写文档、创建演示文稿以及编辑代码，而

最近，Salesforce AI 研究团队推出了一款全新的多模态语言模型 ——BLIP-3-Video。随着视频内容的快速增加，如何高效处理视频数据成为了一个亟待解决的问题。这款模型的出现，旨在提升视频理解的效率和效果，适用于从自动驾驶到娱乐等各个行业。传统的视频理解模型往往是逐帧处理视频，生成大量的视觉信息。这一过程不仅消耗了大量的计算资源，还极大地限制了处理长视频的能力。随着视频数据量的不断增长，这种方法变得愈发低效，因此，找到一种既能捕捉到视频的关键信息，又能

来自智源研究院的Emu3团队发布了一套全新的多模态模型Emu3，该模型仅基于下一个token预测进行训练，颠覆了传统的扩散模型和组合模型架构，在生成和感知任务上均取得了最先进的性能。一直以来，下一个token预测被认为是通向人工智能通用智能（AGI）的希望之路，但在多模态任务上却表现不佳。目前，多模态领域仍然由扩散模型(如Stable Diffusion)和组合模型(如CLIP与LLM的结合)主导。Emu3团队将图像、文本和视频都标记化到离散空间中，并在混合的多模态序列上从头开始训练单个Transformer模型

在人工智能的浩瀚海洋中，一艘名为Emu3的创新之船正在破浪前行，为我们展示了多模态AI的无限可能。这个由Meta AI研究团队开发的革命性模型，通过简单而巧妙的"下一步预测"机制，实现了文本、图像和视频的统一处理。Emu3的核心思想是将各种内容转换为离散符号，然后利用单一的Transformer模型来预测下一个符号。这种方法不仅简化了模型架构，还让Emu3在多个领域展现出惊人的能力。从高质量图像生成到准确的图文理解，从连贯的对话响应到流畅的视频创作，Emu3都能轻松应对。在图像生

近日，一款名为Molmo的开源多模态人工智能模型引起了业界广泛关注。这个由Qwen2-72B为基础、借助OpenAI的CLIP作为视觉处理引擎的AI系统，正以其出色的性能和创新的功能挑战传统商业模型的霸主地位。Molmo的突出特点在于其高效的性能表现。尽管体积相对较小，但它在处理能力上可以与规模大十倍的竞争对手相媲美。这种"小而精"的设计理念不仅提高了模型的效率，也为其在各种应用场景中的部署提供了更大的灵活性。与传统多模态模型相比，Molmo的创新之处在于其引入的指向功能。这一特

2024年9月21日，阿里巴巴在杭州云栖大会上宣布了多项技术创新和业务发展的新动态。其中，魔搭社区正式上线了AIGC专区，旨在为开发者提供一个全面的AI创作和开发平台。该平台目前免费开放所有功能板块及GPU算力，首批上架了157款精选多模态模型，包括社区热门模型和设计师贡献的多种风格化LoRa模型。