还记得那个号称“看图说话”神器GPT-4V吗?它能理解图片内容，还能根据图片执行任务，简直是懒人福音!但它有个致命弱点:眼神不太好!想象一下，你让GPT-4V帮你点个按钮，它却像个“屏幕瞎子”一样，到处乱点，是不是很抓狂?今天就给大家介绍一个能让GPT-4V眼神变好的神器——OmniParser!这是微软发布的全新模型，旨在解决图形用户界面（GUI）自动交互的难题。OmniParser是干啥的?简单来说，OmniParser就是个“屏幕翻译官”，它能把屏幕截图解析成GPT-4V能看懂的“结构化语言”。OmniParser结合了

"MiniCPM-V2.6"的端侧多模态人工智能模型，它仅有8B参数却取得了20B以下单图、多图、视频理解三项SOTA（State of the Art，即当前最佳水平）成绩，显著提升了端侧AI的多模态能力，与GPT-4V水平全面对标。

最近，GPT-4V被国外一位名叫Home Assistant的网友玩出了新花样。他很大胆地直接将GPT-4Vision接入了家中的摄像头，让AI24小时无死角地观察自己，结果这则视频在X上浏览量直接超过了100万!

在AI的世界里，我们刚刚迎来了一个令人瞩目的新成员——Cambrian-1，这是一个由LeCun和谢赛宁等业界大牛联手打造的多模态大型语言模型（MLLM）。这个模型的出现，不仅仅是技术上的一次飞跃，更是对多模态学习研究的一次深刻反思。

北航和南洋理工的联合研究团队对GPT-4o模型进行了深入的安全性测试。通过上万次的API查询，研究人员对GPT-4o的文本、图像、音频三种模态进行了安全性评估。研究发现，尽管GPT-4o在文本越狱攻击的安全性上有所提升，但新引入的语音模态增加了新的攻击面，且整体多模态安全性不如前一代模型GPT-4V。

["微软开源了多模态模型LLaVA-1.5，继承LLaVA架构并引入新特性。","研究人员对其在视觉问答、自然语言处理、图像生成等进行了测试显示，LLaVA-1.5达到了开源模型中的最高水平，可"]

["GPT-4V新玩法在GitHub热榜获得狂揽3000+🌟，web开发者感受到威胁。","通过简单画画、框一框，点击执行，即可生成带按钮的网页，操作快捷简单。","开发者Sawyer Hood在5小时内利用GPT-4V API开发出新玩法，赢得2700+赞。","使用开源白板tldraw和GPT-4V API组合，实现秒生网页，有网友还创建了DesignerGPT。","GitHub发布CopilotWorkspace，成为开发者的「第二个大脑」，提高开发效率和任务质量。"]

["新提出的图像推理基准HallusionBench用于检验GPT-4V等视觉语言模型,发现其存在语言幻觉和视觉错觉问题。","GPT-4V等模型在HallusionBench中易受参数化记忆影响产生语言幻觉,答案错误率高达90%。","GPT-4V等在HallusionBench中容易产生几何等视觉错觉,当前视觉能力仍然有限。","简单图像操作就可轻易误导GPT-4V等模型,反映出其脆弱性。","LLaVA-1.5的知识储备不如GPT-4V,存在常识性错误。"]

["浙大校友合作微软研究院推出多模态模型LLaVA，挑战GPT-4V。","LLaVA在11个测试数据集上表现出色，获得6k+星标。","模型综合能力高，超过GPT-4V水平的85%。","LLaVA的开源代码、模型和训练数据已经可供使用。"]

["清华大学与智谱 AI 合作开发的 CogVLM-17B 是一款国产多模态模型，具有卓越的性能。","CogVLM-17B 不仅能识别图像中的对象，还能分辨完整可见和部分可见的物体。","该模型采用了独特的深度融合方法，通过四个关键组件实现了图像特征和文本特征的深度对齐。","CogVLM-17B 在多个领域超越了谷歌的模型，被形象地称为 “14 边形战士”，展现了其多模态处理的出色能力。","这款国产多模态模型为多模态领域的技术研究提供了新的思路和可能性。"]