UFO ist ein UI-fokussiertes Dual-Agent-Framework für die Interaktion mit dem Windows-Betriebssystem. Es versteht Benutzeranfragen in natürlicher Sprache und führt diese aus, indem es nahtlos innerhalb einer oder mehrerer Anwendungen navigiert und Aktionen durchführt. Das Framework umfasst zwei Agents: AppAgent und ActAgent. AppAgent wählt basierend auf der Benutzeranfrage die entsprechende Anwendung aus. ActAgent führt iterativ Aktionen innerhalb der ausgewählten Anwendung aus, bis die Aufgabe erfolgreich abgeschlossen ist. Beide nutzen die multimodalen Funktionen von GPT-Vision, um die Benutzeroberfläche der Anwendung zu verstehen und die Benutzeranfragen zu erfüllen.