苹果和哥伦比亚大学的研究人员合作开发了Ferret多模态语言模型，旨在实现高级图像理解和描述。该模型拥有强大的全局理解能力，可以同时处理自由文本和引用区域，性能优于传统模型。研究人员创建了GRIT数据集，用于指导模型训练，并评估Ferret在多项任务中的性能，表现出引用和定位能力，有望在人机交互、智能搜索等领域取得重大突破。