手机、平板、电脑、电视,屏幕越来越多,操作越来越复杂,是不是让你眼花缭乱?苹果最近丢出一个王炸——Ferret-UI2,一个超强 UI 理解模型,号称要统一江湖!

这可不是吹牛,Ferret-UI2的目标是成为一个真正的六边形战士,能在各种平台上理解用户界面,不管是iPhone、Android、iPad、网页还是AppleTV,它都能轻松拿下。

image.png

Ferret-UI2的一大亮点是它对多平台的支持。与仅限于移动平台的Ferret-UI不同,Ferret-UI2能够理解来自平板电脑、网页和智能电视等各种设备的UI屏幕。这种多平台支持使其能够适应当今多样化的设备生态系统,为用户提供更广泛的应用场景。

image.png

为了提高UI感知能力,Ferret-UI2引入了动态高分辨率图像编码技术,并采用了一种名为“自适应网格”的增强方法。通过这种方法,Ferret-UI2能够在UI屏幕截图的原始分辨率下保持感知能力,从而更准确地识别视觉元素和它们之间的关系。

image.png

此外,Ferret-UI2还利用高质量的训练数据来学习基本和高级任务。 对于基本任务,Ferret-UI2将简单的引用和定位数据转换为对话形式,使模型能够对各种UI屏幕建立基本理解。 对于更侧重于用户体验的高级任务,Ferret-UI2采用了**基于GPT-4o的“标记集视觉提示”**技术来生成训练数据,并用单步用户中心交互取代了之前方法中简单的点击指令。

为了评估Ferret-UI2的性能,研究人员构建了涵盖五个平台的45个基准测试,包括每个平台的6个基本任务和3个高级任务。 此外,他们还使用了GUIDE和GUI-World等公开基准测试。 结果表明,Ferret-UI2在所有测试的基准测试中都优于Ferret-UI,特别是在高级任务上取得了显著的进步,证明了其在处理跨平台UI理解任务方面的多功能性。

消融研究进一步表明,Ferret-UI2的架构改进和数据集改进都对性能提升做出了贡献,其中新数据集对更具挑战性的任务的影响更为显著。 此外,Ferret-UI2在跨平台迁移学习方面也表现出色,特别是在iPhone、iPad和Android平台之间表现出良好的泛化能力。

模型地址:https://huggingface.co/jadechoghari/Ferret-UI-Llama8b

论文地址:https://arxiv.org/pdf/2410.18967