搜索全球AI产品动态

IBM 最近发布了其最新的 Granite3.2大型语言模型，旨在为企业和开源社区提供 “小巧、高效、实用” 的企业人工智能解决方案。该模型不仅具备多模态和推理能力，还提升了灵活性和成本效益，使得用户更容易采用。Granite3.2引入了视觉语言模型（VLM），用于处理文档，进行数据分类和提取。IBM 声称，这一新模型在一些关键基准测试中，性能达到或超过了更大型的模型，如 Llama3.211B 和 Pixtral12B。此外，Granite3.2的8B 模型在标准数学推理基准测试中，也显示出能匹敌或超越更大模型的能力。为

近日，VLM-R1项目的成功推出为这一领域带来了新的曙光。该项目是 DeepSeek 团队的 R1方法在视觉语言模型中的成功迁移，意味着 AI 对视觉内容的理解将进入一个全新的阶段。VLM-R1的灵感源自于去年 DeepSeek 开源的 R1方法，该方法利用了 GRPO（Generative Reward Processing Optimization）强化学习技术，在纯文本处理上取得了优异的表现。如今，VLM-R1团队将这一方法成功地应用于视觉语言模型，为多模态 AI 的研究开辟了新天地。在项目的验证结果中，VLM-R1的表现令人惊艳。首先，R1方法在复杂场景下展现出

近日，谷歌宣布推出一款全新的视觉 - 语言模型（Vision-Language Model， VLM），名为 PaliGemma2Mix。这款模型融合了图像处理与自然语言处理的能力，能够同时理解视觉信息和文本输入，并根据需求生成相应的输出，标志着人工智能技术在多任务处理方面的进一步突破。PaliGemma2Mix 的功能非常强大，它集成了图像描述、光学字符识别（OCR）、图像问答、目标检测和图像分割等多种视觉 - 语言任务，适用于多种应用场景。开发者可以通过预训练检查点(checkpoints)直接使用这款模型，或根据自己的需求

谷歌 DeepMind 团队正式推出了 WebLI-100B 数据集，这是一个包含1000亿个图像 - 文本对的庞大数据集，旨在增强人工智能视觉语言模型的文化多样性和多语言性。通过这一数据集，研究人员希望改善视觉语言模型在不同文化和语言环境下的表现，同时减少各个子组之间的性能差异，从而提升人工智能的包容性。视觉语言模型（VLMs）依赖于大量数据集来学习如何连接图像与文本，从而执行如图像字幕生成和视觉问答等任务。过去，这些模型主要依赖于 Conceptual Captions 和 LAION 等大型数据集，虽然这

随着人工智能技术的不断发展，视觉与文本数据的融合成为了一项复杂的挑战。传统的模型往往难以准确解析表格、图表、信息图和图示等结构化视觉文档，这一限制影响了自动内容提取和理解能力，进而影响了数据分析、信息检索和决策等应用。面对这一需求，IBM 近期发布了 Granite-Vision-3.1-2B，一款专为文档理解设计的小型视觉语言模型。Granite-Vision-3.1-2B 能够从各种视觉格式中提取内容，包括表格、图表和图示。该模型基于精心挑选的数据集进行训练，数据来源包括公共和合成源，能够

在智能驾驶行业，2025年被视为 “VLA 上车元年”，这标志着一种全新的技术范式正在崭露头角。VLA，即视觉语言动作模型（Vision-Language-Action Model），最初由 DeepMind 于2023年提出，旨在提升机器人对环境的理解和反应能力。近年来，这一技术在自动驾驶领域受到了极大的关注。与传统的视觉语言模型（VLM）相比，VLA 的优势在于其不仅可以解析图像和文本信息，还能通过 “类人” 思维进行决策。这使得智能驾驶系统能够更准确地推理复杂的路况，比如在施工现场或交通指挥中作出适当反应。

Hugging Face 推出了一款令人瞩目的 AI 模型 ——SmolVLM。这款视觉语言模型的体积小到可以在手机等小型设备上运行，且性能超越了那些需要大型数据中心支持的前辈模型。SmolVLM-256M 模型的 GPU 内存需求不足1GB，性能却超过了其前代 Idefics80B 模型，这一后者的规模是其300倍，标志着实用 AI 部署的一个重大进展。根据 Hugging Face 机器学习研究工程师安德烈斯・马拉菲奥提的说法，SmolVLM 模型在推向市场的同时，也为企业带来了显著的计算成本降低。“我们之前发布的 Idefics80B 在2023年8月是首个开

在多模态任务中，视觉语言模型（VLMs）起着至关重要的作用，如图像检索、图像说明和医学诊断等。这些模型的目标是将视觉数据与语言数据进行对齐，以实现更高效的信息处理。然而，目前的 VLMs 在理解否定方面仍面临重大挑战。否定在许多应用中至关重要，例如区分 “没有窗户的房间” 和 “有窗户的房间”。尽管 VLMs 取得了显著进展，但在处理否定陈述时，现有模型的表现却大幅下降。这种限制尤其在安全监控和医疗保健等高风险领域中显得尤为重要。现有的 VLMs，如 CLIP，采用共

随着人工智能的快速发展，视觉与语言能力的整合引发了视觉语言模型（VLMs）的突破性进展。这些模型旨在同时处理和理解视觉与文本数据，广泛应用于图像描述、视觉问答、光学字符识别以及多模态内容分析等场景。VLMs 在开发自主系统、增强人机交互以及高效文档处理工具方面发挥了重要作用，成功地弥合了这两种数据模态之间的差距。然而，在高分辨率视觉数据和多样化文本输入的处理上，仍然存在许多挑战。目前的研究已经部分解决了这些限制，但大多数模型采用的静态视觉编码

近日，NVIDIA 推出了新一代开放视觉语言模型 ——NVILA。该旨在优化准确性和效率，凭借出色的性能，成为视觉 AI 领域的佼者。根据 NVIDIA 的介绍，NVILA 在训练成本上降低了4.5倍微调所需内存减少了3.4倍，并且在预填充和解码的延迟上几乎降低了2倍。这些数据是与另一种大型视觉模型 LLaVa OneVision 进行比较得出的。在视频基准测试中，NVILA 的表现超过了 GPT4o Mini，并且在与 GPT4o、Sonnet3.5和 Gemini1.5Pro 的比较中也表现出色。此外，NVILA 还在与 Llama3.2的对比中取得了微弱胜利。尽管如此，NVIDIA 表

近年来，机器学习模型在视觉和语言任务方面的应用需求日益增长，但大多数模型都需要庞大的计算资源，无法在个人设备上高效运行。尤其是像笔记本电脑、消费级 GPU 和移动设备等小型设备，在处理视觉语言任务时面临巨大的挑战。以 Qwen2-VL 为例，虽然其性能卓越，但对硬件的要求较高，限制了其在实时应用中的可用性。因此，开发出轻量化模型以便于在较低资源下运行，成为了一项重要需求。Hugging Face 近期发布了 SmolVLM，这是一款专门为设备端推理设计的2B 参数视觉语言模型。SmolV

最近，西雅图的一家初创公司 Moondream 推出了名为 moondream2的紧凑型视觉语言模型。尽管体积小巧，但该模型在各项基准测试中表现出色，备受关注。作为一个开源模型，moondream2有望在智能手机上实现本地图像识别功能。moondream2于三月正式发布，该模型能够处理文本和图像输入，具备回答问题、文本提取（OCR）、物体计数和物品分类等能力。自发布以来，Moondream 团队持续更新该模型，不断提升其基准性能。7月份的版本在 OCR 和文档理解方面显示出显著进步，尤其是在对历史经济数据的分析

AI 初创公司 Moondream 正式宣布完成450万美元的种子融资，并提出了一个颇具颠覆性的观点:在 AI 模型的世界里，小型模型可能更具优势。该公司得到了 Felicis Ventures、微软的 M12GitHub 基金和 Ascend 的支持，推出了一款仅有16亿参数的视觉语言模型，却能够与四倍于其规模的模型在性能上相媲美。Moondream 的开源模型已经引起了广泛关注，下载量超过200万次，GitHub 上的星标也达到了5100个。公司的首席执行官 Jay Allen 表示:“这个模型特别之处在于，它不仅小巧而且准确度高，运行起来也非常顺畅，

近日，H2O.ai 宣布推出两款新型视觉语言模型，旨在提升文档分析和光学字符识别（OCR）任务的效率。这两款模型分别是 H2OVL Mississippi-2B 和 H2OVL-Mississippi-0.8B，它们在性能上与大型科技公司的模型相比，展现出令人瞩目的竞争力，可能为处理文档繁重工作流的企业提供更为高效的解决方案。H2OVL Mississippi-0.8B 模型虽然只有8亿参数，却在 OCRBench 文本识别任务中超越了所有其他模型，包括那些拥有数十亿参数的竞争对手。而20亿个参数的 H2OVL Mississippi-2B 模型则在多项视觉语言基准测试中表现不

阿里巴巴集团的通义千问QwenLM项目遭遇了Github页面意外下线，用户访问时收到404错误。项目负责人林俊旸在朋友圈回应表示团队并未消失，正与官方沟通解决页面下线问题。尽管团队努力，页面仍无法访问。值得一提的是，该团队近期发布了Qwen2-VL模型，此模型在处理长达20分钟的视频内容方面表现出色，刷新了多模态模型的多项权威评测指标，部分指标超越了GPT-4o和Claude3.5-Sonnet等先进模型。

​9月2日，通义千问宣布开源其第二代视觉语言模型Qwen2-VL，并在阿里云百炼平台上推出2B、7B两个尺寸及其量化版本模型的API，供用户直接调用。Qwen2-VL模型在多个方面实现了性能的全面提升。它能够理解不同分辨率和不同长宽比的图片，在DocVQA、RealWorldQA、MTVQA等基准测试中创下全球领先的表现。

NVIDIA 联合多所高校推出了 NVEagle，一个能看图聊天的大型视觉语言模型。NVEagle 能解析图片内容并给出准确答案，如识别图片中的人物为黄仁勋。该模型通过将图像转化为视觉标记并与文本嵌入结合，显著提升了对视觉信息的理解能力。面对高分辨率图像处理的挑战，研究团队通过探索不同的视觉编码器和融合策略，构建了包括 Eagle-X5-7B、Eagle-X5-13B 和 Eagle-X5-13B-Chat 在内的三个版本，其中 13B-Chat 特别适用于对话式 AI。NVEagle 采用混合专家机制，根据任务动态选择最佳视觉编码器，提高了对复杂视觉信息的处理能力。在多种基准测试中，NVEagle 的表现均优于其他领先模型，特别是在 OCR、视觉问答和复杂视觉信息处理任务上。

近期，多模态大模型的研究和应用取得了显著进展。国外公司如OpenAI、Google、Microsoft等推出了一系列先进的模型，国内也有智谱AI、阶跃星辰等机构在该领域取得了突破。这些模型通常依赖视觉编码器来提取视觉特征并与大语言模型结合，但存在训练分离导致的视觉归纳偏置问题，限制了多模态大模型的部署效率和性能。

["清华大学智普AI团队发布名为CogAgent的新视觉语言模型，专注于理解和导航图形用户界面(GUI)。","CogAgent采用双编码器系统，处理复杂GUI元素和文本，在处理1120x1120像素的高分辨率输入方面表现出色。","模型在PC和Android平台的GUI导航任务中优于现有LLM方法，同时在文本和视觉问答基准上也表现卓越。","潜在应用包括自动化GUI操作、提供GUI帮助和指导，以及开发新的GUI设计和交互方式。","虽然CogAgent仍处于早期开发阶段，但其创新性的高分辨率图像处理方法使其在自动化GUI操作和解释任务中具有潜力。"]

["智谱 AI 开源了 CogAgent，它是一个视觉语言模型拥有 180 亿参数规模。","CogAgent 在 GUI 理解和导航方面表现出色，在多个基准测试上取得了 SOTA 的通用性能。","该模型支持高分辨率的视觉输入和对话问答，并且可以针对任意 GUI 截图进行问答。","CogAgent 还支持 OCR 相关任务，通过预训练和微调，其能力得到了显著提升。","模型可以通过上传截图来进行任务推理，并返回计划、下一个动作以及具体操作的坐标信息。"]