Ferret-UI ist ein neuartiges MLLLM, das speziell für ein verbessertes Verständnis mobiler Benutzeroberflächen entwickelt wurde. Es verfügt über Fähigkeiten zur Referenzierung, Lokalisierung und zum Schlussfolgern und kann Aufgaben auf UI-Bildschirmen bearbeiten. Die „beliebige Auflösung“-Technologie löst Probleme bei der Erkennung kleiner Objekte durch Vergrößerung von Details. Die Entwicklung umfasst Aufgabendefinition, die Sammlung von Trainingsdaten, die Modellarchitektur und den Aufbau von Datensätzen, wobei sich das Modell insbesondere durch seine Dialogfähigkeit bei komplexen Aufgaben auszeichnet.