LEO ist ein multimodaler, multitaskfähiger Allzweck-Agent, der auf einem großen Sprachmodell basiert und im 3D-Universum wahrnehmen, sich orientieren, schlussfolgern, planen und Aufgaben ausführen kann. LEO wird in zwei Phasen trainiert: (i) 3D-visuell-sprachliche Ausrichtung und (ii) Anpassung von 3D-visuell-sprachlichen Handlungsanweisungen. Wir haben einen umfangreichen Datensatz mit multimodalen Aufgaben auf Objekt- und Szenenebene sorgfältig kuratiert und generiert, der ein tiefes Verständnis und die Interaktion mit der 3D-Welt erfordert. Durch strenge Experimente zeigen wir die hervorragende Leistung von LEO in einer Vielzahl von Aufgaben, darunter 3D-Beschriftung, Frage-Antwort-Systeme, Schlussfolgerungen, Navigation und Roboterbedienung.