智谱A​I旗下的GLM-PC基座模型CogAgent-9B现已开源，以促进大模型Agent生态的发展。CogAgent-9B是基于GLM-4V-9B训练而成的专用Agent任务模型，能够仅通过屏幕截图作为输入，根据用户指定的任意任务结合历史操作，预测下一步的GUI操作。这一模型的普适性使其可广泛应用于个人电脑、手机、车机设备等多种基于GUI交互的场景。

["清华大学智普AI团队发布名为CogAgent的新视觉语言模型，专注于理解和导航图形用户界面(GUI)。","CogAgent采用双编码器系统，处理复杂GUI元素和文本，在处理1120x1120像素的高分辨率输入方面表现出色。","模型在PC和Android平台的GUI导航任务中优于现有LLM方法，同时在文本和视觉问答基准上也表现卓越。","潜在应用包括自动化GUI操作、提供GUI帮助和指导，以及开发新的GUI设计和交互方式。","虽然CogAgent仍处于早期开发阶段，但其创新性的高分辨率图像处理方法使其在自动化GUI操作和解释任务中具有潜力。"]

["智谱 AI 开源了 CogAgent，它是一个视觉语言模型拥有 180 亿参数规模。","CogAgent 在 GUI 理解和导航方面表现出色，在多个基准测试上取得了 SOTA 的通用性能。","该模型支持高分辨率的视觉输入和对话问答，并且可以针对任意 GUI 截图进行问答。","CogAgent 还支持 OCR 相关任务，通过预训练和微调，其能力得到了显著提升。","模型可以通过上传截图来进行任务推理，并返回计划、下一个动作以及具体操作的坐标信息。"]