Mobile-Agent

自主多模移动设备代理

普通产品生产力自主多模
Mobile-Agent是一款自主多模移动设备代理,利用多模大语言模型(MLLM)技术,首先利用视觉感知工具准确识别和定位应用程序前端界面中的视觉和文字元素。基于感知的视觉环境,它自主规划和分解复杂操作任务,并通过逐步操作来导航移动应用程序。与之前依赖于应用程序的XML文件或移动系统元数据的解决方案不同,Mobile-Agent以视觉为中心的方式在各种移动操作环境中具有更大的适应性,从而消除了对特定系统定制的必要性。为了评估Mobile-Agent的性能,我们引入了Mobile-Eval,这是一个用于评估移动设备操作的基准。基于Mobile-Eval,我们对Mobile-Agent进行了全面评估。实验结果表明,Mobile-Agent实现了显着的准确性和完成率。即使在具有挑战性的指令下,例如多应用程序操作,Mobile-Agent仍然可以完成要求。
打开网站

Mobile-Agent 替代品