苹果公司近日发布了新一代人工智能系统Ferret-UI2。这款跨平台AI助手在UI元素识别方面取得重大突破，测试得分达89.73，大幅领先GPT-4V的77.73分，展现出卓越的性能表现。这套系统最大的特点在于其智能理解用户意图的能力。不同于传统基于坐标点击的操作方式，Ferret-UI2能够根据用户的自然语言指令，自动定位并执行相应操作。研究团队通过借助GPT-4V的视觉能力生成训练数据，使系统能够更好地理解界面元素之间的空间关系。在技术架构上，Ferret-UI2采用了自适应设计，可在iPhone、iPad、安卓

["苹果与康奈尔大学合作发布开源多模态机器学习模型Ferret","Ferret是一个可以在图像中的任何位置、以任何精度、使用任何形状的区域进行参考和定位的系统","Ferret可以识别图像中的元素，并将其作为查询的一部分进行响应","这一开源发布证明了苹果对有影响力的AI研究的承诺","苹果愿意更加开放地在AI工作上进行合作"]

["苹果和哥伦比亚大学研究人员共同开发了Ferret多模态语言模型，旨在实现高级图像理解和描述。","Ferret模型具备强大的全局理解能力，能够处理自由文本和引用区域，性能领先传统模型。","研究人员创建了GRIT数据集，包括1.1百万个样本，用于指导模型进行引用和定位任务。","Ferret-Bench评估显示，Ferret性能平均优于最佳MLLM模型20.4%，并减少了对象幻觉。"]