Ferret-UI est un nouveau modèle MLLLM spécialement conçu pour améliorer la compréhension des interfaces utilisateur mobiles. Il possède des capacités de citation, de localisation et de raisonnement, permettant de traiter des tâches sur les écrans d'interface utilisateur. Grâce à sa technologie « toute résolution », il résout les problèmes de reconnaissance de petits objets en agrandissant les détails. Il excelle dans la définition des tâches, la collecte d'échantillons d'entraînement, l'architecture du modèle, la création de jeux de données et, surtout, dans la capacité de dialogue pour les tâches avancées.