在专业环境中，图形用户界面（GUI）代理面临着三大关键挑战。首先，专业应用程序的复杂性远高于一般软件，要求对复杂布局有深入理解;其次，专业工具通常具备更高的分辨率，导致目标尺寸较小，从而降低了定位准确性;最后，工作流程往往依赖于额外工具和文档，增加了操作的复杂性。这些挑战凸显了开发更先进的基准和解决方案以提升 GUI 代理在这些严苛场景中的性能的必要性。目前的 GUI 定位模型和基准无法满足专业环境的要求。例如，ScreenSpot 等工具设计主要用于低分辨率任务

智谱A​I旗下的GLM-PC基座模型CogAgent-9B现已开源，以促进大模型Agent生态的发展。CogAgent-9B是基于GLM-4V-9B训练而成的专用Agent任务模型，能够仅通过屏幕截图作为输入，根据用户指定的任意任务结合历史操作，预测下一步的GUI操作。这一模型的普适性使其可广泛应用于个人电脑、手机、车机设备等多种基于GUI交互的场景。

AI应用搭建平台扣子Coze在火山引擎FORCE原动力大会上宣布推出全新版本——扣子1.5。这一更新标志着扣子平台在AI应用开发领域迈出了重要一步，旨在为用户提供更加强大和便捷的开发环境。扣子1.5版本的核心亮点在于其支持GUI（图形用户界面）搭建界面，并能一键发布为小程序、H5、API等多种应用形态。这一功能使得无论用户是否具备编程基础，都能快速搭建基于大模型的各类Bot，并将它们发布到社交平台、通讯软件或部署到网站等渠道。

["清华大学智普AI团队发布名为CogAgent的新视觉语言模型，专注于理解和导航图形用户界面(GUI)。","CogAgent采用双编码器系统，处理复杂GUI元素和文本，在处理1120x1120像素的高分辨率输入方面表现出色。","模型在PC和Android平台的GUI导航任务中优于现有LLM方法，同时在文本和视觉问答基准上也表现卓越。","潜在应用包括自动化GUI操作、提供GUI帮助和指导，以及开发新的GUI设计和交互方式。","虽然CogAgent仍处于早期开发阶段，但其创新性的高分辨率图像处理方法使其在自动化GUI操作和解释任务中具有潜力。"]

["智谱 AI 开源了 CogAgent，它是一个视觉语言模型拥有 180 亿参数规模。","CogAgent 在 GUI 理解和导航方面表现出色，在多个基准测试上取得了 SOTA 的通用性能。","该模型支持高分辨率的视觉输入和对话问答，并且可以针对任意 GUI 截图进行问答。","CogAgent 还支持 OCR 相关任务，通过预训练和微调，其能力得到了显著提升。","模型可以通过上传截图来进行任务推理，并返回计划、下一个动作以及具体操作的坐标信息。"]