随着人工智能的快速发展，视觉与语言能力的整合引发了视觉语言模型（VLMs）的突破性进展。这些模型旨在同时处理和理解视觉与文本数据，广泛应用于图像描述、视觉问答、光学字符识别以及多模态内容分析等场景。VLMs 在开发自主系统、增强人机交互以及高效文档处理工具方面发挥了重要作用，成功地弥合了这两种数据模态之间的差距。然而，在高分辨率视觉数据和多样化文本输入的处理上，仍然存在许多挑战。目前的研究已经部分解决了这些限制，但大多数模型采用的静态视觉编码

近日，NVIDIA 推出了新一代开放视觉语言模型 ——NVILA。该旨在优化准确性和效率，凭借出色的性能，成为视觉 AI 领域的佼者。根据 NVIDIA 的介绍，NVILA 在训练成本上降低了4.5倍微调所需内存减少了3.4倍，并且在预填充和解码的延迟上几乎降低了2倍。这些数据是与另一种大型视觉模型 LLaVa OneVision 进行比较得出的。在视频基准测试中，NVILA 的表现超过了 GPT4o Mini，并且在与 GPT4o、Sonnet3.5和 Gemini1.5Pro 的比较中也表现出色。此外，NVILA 还在与 Llama3.2的对比中取得了微弱胜利。尽管如此，NVIDIA 表

近年来，机器学习模型在视觉和语言任务方面的应用需求日益增长，但大多数模型都需要庞大的计算资源，无法在个人设备上高效运行。尤其是像笔记本电脑、消费级 GPU 和移动设备等小型设备，在处理视觉语言任务时面临巨大的挑战。以 Qwen2-VL 为例，虽然其性能卓越，但对硬件的要求较高，限制了其在实时应用中的可用性。因此，开发出轻量化模型以便于在较低资源下运行，成为了一项重要需求。Hugging Face 近期发布了 SmolVLM，这是一款专门为设备端推理设计的2B 参数视觉语言模型。SmolV

最近，西雅图的一家初创公司 Moondream 推出了名为 moondream2的紧凑型视觉语言模型。尽管体积小巧，但该模型在各项基准测试中表现出色，备受关注。作为一个开源模型，moondream2有望在智能手机上实现本地图像识别功能。moondream2于三月正式发布，该模型能够处理文本和图像输入，具备回答问题、文本提取（OCR）、物体计数和物品分类等能力。自发布以来，Moondream 团队持续更新该模型，不断提升其基准性能。7月份的版本在 OCR 和文档理解方面显示出显著进步，尤其是在对历史经济数据的分析

AI 初创公司 Moondream 正式宣布完成450万美元的种子融资，并提出了一个颇具颠覆性的观点:在 AI 模型的世界里，小型模型可能更具优势。该公司得到了 Felicis Ventures、微软的 M12GitHub 基金和 Ascend 的支持，推出了一款仅有16亿参数的视觉语言模型，却能够与四倍于其规模的模型在性能上相媲美。Moondream 的开源模型已经引起了广泛关注，下载量超过200万次，GitHub 上的星标也达到了5100个。公司的首席执行官 Jay Allen 表示:“这个模型特别之处在于，它不仅小巧而且准确度高，运行起来也非常顺畅，

近日，H2O.ai 宣布推出两款新型视觉语言模型，旨在提升文档分析和光学字符识别（OCR）任务的效率。这两款模型分别是 H2OVL Mississippi-2B 和 H2OVL-Mississippi-0.8B，它们在性能上与大型科技公司的模型相比，展现出令人瞩目的竞争力，可能为处理文档繁重工作流的企业提供更为高效的解决方案。H2OVL Mississippi-0.8B 模型虽然只有8亿参数，却在 OCRBench 文本识别任务中超越了所有其他模型，包括那些拥有数十亿参数的竞争对手。而20亿个参数的 H2OVL Mississippi-2B 模型则在多项视觉语言基准测试中表现不

阿里巴巴集团的通义千问QwenLM项目遭遇了Github页面意外下线，用户访问时收到404错误。项目负责人林俊旸在朋友圈回应表示团队并未消失，正与官方沟通解决页面下线问题。尽管团队努力，页面仍无法访问。值得一提的是，该团队近期发布了Qwen2-VL模型，此模型在处理长达20分钟的视频内容方面表现出色，刷新了多模态模型的多项权威评测指标，部分指标超越了GPT-4o和Claude3.5-Sonnet等先进模型。

​9月2日，通义千问宣布开源其第二代视觉语言模型Qwen2-VL，并在阿里云百炼平台上推出2B、7B两个尺寸及其量化版本模型的API，供用户直接调用。Qwen2-VL模型在多个方面实现了性能的全面提升。它能够理解不同分辨率和不同长宽比的图片，在DocVQA、RealWorldQA、MTVQA等基准测试中创下全球领先的表现。

NVIDIA 联合多所高校推出了 NVEagle，一个能看图聊天的大型视觉语言模型。NVEagle 能解析图片内容并给出准确答案，如识别图片中的人物为黄仁勋。该模型通过将图像转化为视觉标记并与文本嵌入结合，显著提升了对视觉信息的理解能力。面对高分辨率图像处理的挑战，研究团队通过探索不同的视觉编码器和融合策略，构建了包括 Eagle-X5-7B、Eagle-X5-13B 和 Eagle-X5-13B-Chat 在内的三个版本，其中 13B-Chat 特别适用于对话式 AI。NVEagle 采用混合专家机制，根据任务动态选择最佳视觉编码器，提高了对复杂视觉信息的处理能力。在多种基准测试中，NVEagle 的表现均优于其他领先模型，特别是在 OCR、视觉问答和复杂视觉信息处理任务上。

近期，多模态大模型的研究和应用取得了显著进展。国外公司如OpenAI、Google、Microsoft等推出了一系列先进的模型，国内也有智谱AI、阶跃星辰等机构在该领域取得了突破。这些模型通常依赖视觉编码器来提取视觉特征并与大语言模型结合，但存在训练分离导致的视觉归纳偏置问题，限制了多模态大模型的部署效率和性能。

["清华大学智普AI团队发布名为CogAgent的新视觉语言模型，专注于理解和导航图形用户界面(GUI)。","CogAgent采用双编码器系统，处理复杂GUI元素和文本，在处理1120x1120像素的高分辨率输入方面表现出色。","模型在PC和Android平台的GUI导航任务中优于现有LLM方法，同时在文本和视觉问答基准上也表现卓越。","潜在应用包括自动化GUI操作、提供GUI帮助和指导，以及开发新的GUI设计和交互方式。","虽然CogAgent仍处于早期开发阶段，但其创新性的高分辨率图像处理方法使其在自动化GUI操作和解释任务中具有潜力。"]

["智谱 AI 开源了 CogAgent，它是一个视觉语言模型拥有 180 亿参数规模。","CogAgent 在 GUI 理解和导航方面表现出色，在多个基准测试上取得了 SOTA 的通用性能。","该模型支持高分辨率的视觉输入和对话问答，并且可以针对任意 GUI 截图进行问答。","CogAgent 还支持 OCR 相关任务，通过预训练和微调，其能力得到了显著提升。","模型可以通过上传截图来进行任务推理，并返回计划、下一个动作以及具体操作的坐标信息。"]

["谷歌发布PaLI-3视觉语言模型，小体量却达到SOTA性能。","该模型采用对比预训练方法，深入研究了VIT的潜力，在多语言模态检索中表现卓越。","PaLI-3将自然语言理解和图像识别完美融合，成为AI创新的重要力量。","该模型的基于SigLIP的对比预训练方法开辟了多语言跨模态检索的新时代。","虽然尚未完全开源，但已发布多语言和英文SigLIP模型，为研究人员提供尝试的机会。"]

["新提出的图像推理基准HallusionBench用于检验GPT-4V等视觉语言模型,发现其存在语言幻觉和视觉错觉问题。","GPT-4V等模型在HallusionBench中易受参数化记忆影响产生语言幻觉,答案错误率高达90%。","GPT-4V等在HallusionBench中容易产生几何等视觉错觉,当前视觉能力仍然有限。","简单图像操作就可轻易误导GPT-4V等模型,反映出其脆弱性。","LLaVA-1.5的知识储备不如GPT-4V,存在常识性错误。"]

["阿里云继8月开源通用模型Qwen-7B后,又开源视觉语言模型Qwen-VL。","Qwen-VL支持中英文,可以进行图像标题生成、图像问答、文档问答等。","Qwen-VL可以进行中文开放域视觉定位,在图像中标注检测框。"]

["Qwen-VL是阿里云推出的大规模视觉语言模型,支持图文输入","Qwen-VL比起其他视觉语言模型,新增了视觉定位、图像文字理解等能力","Qwen-VL已在GitHub获得3400+星,下载量超过40万"]