搜索全球AI产品动态

字节跳动宣布推出全新多模态模型Vidi，专注于视频理解与编辑，首版核心能力为精准的时间检索功能。据AIbase了解，Vidi能够处理视觉、音频和文本输入，支持长达一小时的超长视频分析，在时间检索任务上性能超越GPT-4o与Gemini等主流模型。这一突破性技术已在AI社区引发热烈讨论，相关细节通过字节跳动官方渠道与GitHub公开。核心功能:精准时间检索与多模态协同Vidi以其强大的时间检索与多模态处理能力，为视频理解与编辑提供了全新解决方案。AIbase梳理了其主要功能: 时间检索精准定位

​在今天凌晨1点的技术直播中，OpenAI正式推出其最新且最强大的多模态模型o4-mini和满血版o3。这两款模型具备独特优势，不仅能同时处理文本、图像和音频，还可作为智能体自动调用网络搜索、图像生成、代码解析等工具，并且拥有深度思考模式，能在思维链中思考图像。

人工智能领域迎来一项重大突破。AIbase从社交媒体获悉，字节跳动于近日宣布开源其全新多模态生成模型Liquid，该模型以创新的统一编码方式和单一大语言模型（LLM）架构，实现了视觉理解与生成任务的无缝整合。这一发布不仅展示了字节在多模态AI上的技术雄心，也为全球开发者提供了强大的开源工具。以下是AIbase对Liquid模型的深度解析，探索其技术创新、核心发现及行业影响。Liquid模型亮相:统一多模态生成新范式Liquid是一个基于自回归生成的多模态模型，其核心创新在于将图像和文本

近日，谷歌人工智能开发平台Google AI Studio迎来了一次重大更新，全新的“Gemini-2.0-flash-live-001”模型正式亮相，并即刻取代了此前处于实验阶段的Gemini2.0Flash Experimental版本。这一消息迅速在全球开发者社区引发热议。据悉，这一新模型作为Gemini系列Live API的公开预览版本，已正式启用计费功能，标志着谷歌在实时AI交互技术上的又一次飞跃。Gemini-2.0-flash-live-001被设计为一个高效的多模态模型，旨在为开发者提供低延迟、高性能的实时应用开发能力。与之前的实验版本相比，新模型在速度、稳

阿里云通义千问Qwen团队宣布推出Qwen模型家族中的新一代端到端多模态旗舰模型——Qwen2.5-Omni。这一全新模型专为全方位多模态感知而设计，能够无缝处理文本、图像、音频和视频等多种输入形式，并通过实时流式响应同时生成文本与自然语音合成输出。

在人工智能领域，阿里巴巴再次带来了重磅消息。近日，阿里开源了最新的多模态模型 ——Qwen2.5-VL-32B-Instruct。这款新模型是 Qwen2.5系列中的一员，其他版本包括3B、7B 和72B，而32B 版本在保持性能的同时，更加注重便捷的本地运行体验。Qwen2.5-VL-32B 经过强化学习的优化，在多个方面表现出色。首先，它的回答更加符合人类的认知习惯，这意味着用户在与模型互动时，将能获得更自然和流畅的交流体验。其次，这款模型在数学推理能力方面的提升也十分显著。无论是复杂的数学题还是几何体

谷歌 CEO 桑达尔・皮查伊（Sundar Pichai）在一场发布会上宣布，谷歌开源了最新的多模态大模型 Gemma-3，该模型以低成本、高性能为特点，备受关注。Gemma-3提供了四种不同参数规模的选项，分别为10亿、40亿、120亿和270亿参数。令人惊讶的是，最大参数的270亿模型只需一张 H100显卡即可高效推理，而同类模型往往需要十倍的算力，这使 Gemma-3成为目前算力要求最低的高性能模型之一。根据最新的测试数据，Gemma-3在各类对话模型的评比中表现不俗，仅次于知名的 DeepSeek 模型，超越了 OpenAI 的 o3-m

在人工智能领域，阿里通义实验室团队近日宣布开源其最新研发的多模态模型 ——R1-Omni。这一模型结合了强化学习与可验证奖励（RLVR）方法，展现出了在处理音频和视频信息方面的卓越能力。R1-Omni 的亮点在于其透明性，让我们得以更清晰地理解各模态在决策过程中的作用，尤其是在情绪识别等任务中。随着 DeepSeek R1的推出，强化学习在大模型的应用潜力被不断挖掘。RLVR 方法为多模态任务带来了新的优化思路，能够有效处理几何推理、视觉计数等复杂任务。尽管目前的研究多集中于图像

近日，魔乐社区（Modelers）正式上线了由阶跃星辰研发的 Step-Video 和 Step-Audio 两款开源多模态大模型。这两款模型分别用于视频生成和语音交互，旨在为开发者和企业用户提供更强大的 AI 工具。Step-Video 模型的全名为 Step-Video-T2V，这是一款参数量高达300亿的全球最大开源视频生成模型。该模型能够直接生成204帧、540P 分辨率的高质量视频，并在指令遵循、运动平滑性、物理合理性以及美感等方面，表现超越了市场上现有的顶尖开源视频模型。另一方面，Step-Audio 则是业内首款能够生成多种情

近年来，大语言模型（LLM）在人工智能领域取得了显著进展，尤其是在多模态融合方面。华中科技大学、字节跳动与香港大学的联合团队最近提出了一种新型的多模态生成框架 ——Liquid，旨在解决当前主流多模态模型在视觉处理上的局限性。传统的多模态大模型依赖复杂的外部视觉模块，这不仅增加了系统的复杂性，还限制了其扩展性。Liquid 的创新之处在于，它采用 VQGAN 作为图像分词器，摒弃了对外部视觉组件的依赖，通过将图像编码为离散的视觉 token，使得模型可以直接与文本 token 共

全球开发者目光再次聚焦中国!在备受瞩目的全球开发者大会（GDC）上，阿里云魔搭社区重磅宣布，首发上线阶跃星辰最新开源的两款多模态模型，包括 全球参数量最大的开源视频生成模型 Step-Video-T2V，以及 业界首款产品级开源语音交互模型 Step-Audio。 这一消息瞬间引爆全球AI开源社区，再次彰显中国在人工智能领域的强劲创新实力。作为中国最大的AI模型社区，阿里云魔搭社区此次发布的这两款重磅模型，无疑是近期全球多模态领域最受瞩目的开源成果。 Step-Video-T2V 以其巨大的参数规模

近日，微软研究院联合华盛顿大学、斯坦福大学、南加州大学、加利福尼亚大学戴维斯分校以及加利福尼亚大学旧金山分校的研究人员共同推出了 LLaVA-Rad，这是一种新型的小型多模态模型（SMM），旨在提升临床放射学报告的生成效率。该模型的推出不仅标志着医学图像处理技术的一大进步，也为放射学的临床应用带来了更多的可能性。在生物医学领域，基于大规模基础模型的研究已经展现出良好的应用前景，尤其是在多模态生成 AI 的发展下，可以同时处理文本与图像，从而支持视觉问答

近年来，人工智能技术取得了显著进展，但在计算效率与多功能性之间仍然存在挑战。许多先进的多模态模型，如 GPT-4，通常需要大量的计算资源，这限制了它们在高端服务器上的使用，导致智能技术难以在智能手机和平板电脑等边缘设备上得到有效利用。此外，实时处理视频分析或语音转文本等任务仍面临技术障碍，突显出对高效、灵活的 AI 模型的需求，以便在有限的硬件条件下实现无缝运作。为了解决这些问题，OpenBMB 最近推出了 MiniCPM-o2.6，这款具有80亿参数架构的模型，旨在支持视

李飞飞团队推出了一种新的多模态模型，该模型能够理解和生成人类的动作，并通过结合语言模型，实现了对口头和非口头语言的统一处理。 这一突破性的研究，使得机器不仅可以理解人类的指令，还能读懂动作中蕴含的情绪，从而更自然地进行人机交互。该模型的核心在于其多模态语言模型框架，能够接收音频、动作和文本等多种形式的输入，并输出所需的模态数据。 结合生成式预训练策略，该模型在多个任务上展现出卓越的性能。 例如，在协同语音手势生成方面，该模型不仅超越了

北京智谱华章科技有限公司宣布，其旗下的智谱开放平台BigModel上线了首个免费的多模态API——GLM-4V-Flash。这一新模型基于4V系列模型的优秀能力，在图像处理方面实现了精确度的提升，进一步降低了开发者在各领域深入挖掘大模型的门槛。

亚马逊近日在其 AWS re:Invent 大会上宣布了一系列新的 AI 基础模型，采用全新的 “Nova” 品牌。这些模型将作为亚马逊 Bedrock 模型库的一部分提供，标志着亚马逊在人工智能领域的进一步发展。Amazon 在一篇博文中表示，现在有三种“理解”模型可用:Nova Micro，这是一款专为速度和成本优化的文本模型。 Nova Lite，这是一款 “非常低成本” 的多模态模型，可以同时处理图像、视频和文本，并生成相应的文本内容。 Nova Pro，这是一款 “高能力” 的多模态模型，适合更复杂的任务。此外，亚马逊

智谱科技近日宣布开源其端侧大语言和多模态模型GLM-Edge系列，这一举措标志着公司在端侧真实落地使用场景中的一次重要尝试。GLM-Edge系列由四种不同尺寸的模型组成，包括GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B和GLM-Edge-V-5B，分别针对手机、车机等移动平台以及PC等桌面平台进行了优化。

近日，北京大学等科研团队宣布发布了一款名为 LLaVA-o1的多模态开源模型，据称这是首个能够进行自发、系统推理的视觉语言模型，堪比 GPT-o1。该模型在六个具有挑战性的多模态基准测试中表现优异，其11B 参数的版本超越了其他竞争者，如 Gemini-1.5-pro、GPT-4o-mini 和 Llama-3.2-90B-Vision-Instruct。LLaVA-o1基于 Llama-3.2-Vision 模型，采用了 “慢思考” 推理机制，能够自主进行更加复杂的推理过程，超越了传统的思维链提示方法。在多模态推理基准测试中，LLaVA-o1的表现超出了其基础模型8.9%。该模型的

法国人工智能初创公司 Mistral AI 宣布为其 Le Chat AI 助手添加了一系列新功能，包括集成的网络搜索、图像生成以及新推出的 Pixtral Large 模型。Le Chat 功能升级用户现在可以通过 Le Chat 直接访问实时网页内容，轻松获取所需的信息。同时，借助 Black Forest Labs 的 Flux Pro 模型，用户还能生成高质量的图像，满足多种创作需求。除了网络搜索和图像生成，Le Chat 还引入了一个画布界面，让用户可以在聊天窗口内直接编辑生成的内容。这一功能使得用户能够编写文档、创建演示文稿以及编辑代码，而

最近，Salesforce AI 研究团队推出了一款全新的多模态语言模型 ——BLIP-3-Video。随着视频内容的快速增加，如何高效处理视频数据成为了一个亟待解决的问题。这款模型的出现，旨在提升视频理解的效率和效果，适用于从自动驾驶到娱乐等各个行业。传统的视频理解模型往往是逐帧处理视频，生成大量的视觉信息。这一过程不仅消耗了大量的计算资源，还极大地限制了处理长视频的能力。随着视频数据量的不断增长，这种方法变得愈发低效，因此，找到一种既能捕捉到视频的关键信息，又能