LÉO est un agent polyvalent multi-modalités et multi-tâches, basé sur un grand modèle linguistique, capable de percevoir, se localiser, raisonner, planifier et exécuter des tâches dans un environnement 3D. LÉO est entraîné en deux phases : (i) alignement visuel linguistique 3D et (ii) ajustement des instructions d'action visuelles linguistiques 3D. Nous avons soigneusement conçu et généré un vaste ensemble de données contenant des tâches multimodales au niveau des objets et des scènes, nécessitant une compréhension et une interaction approfondies du monde 3D. Grâce à des expériences rigoureuses, nous avons démontré les performances exceptionnelles de LÉO dans un large éventail de tâches, notamment le sous-titrage 3D, les questions-réponses, le raisonnement, la navigation et la manipulation robotique.