LEO es un agente polivalente multi-modal y multi-tarea basado en un modelo de lenguaje extenso, capaz de percibir, localizar, razonar, planificar y ejecutar tareas en un mundo 3D. LEO se entrena en dos fases: (i) Alineación visual-lingüística 3D y (ii) Ajuste de instrucciones de acción visual-lingüística 3D. Hemos cuidadosamente diseñado y generado un conjunto de datos a gran escala que contiene tareas multimodales a nivel de objeto y escena, que requieren una comprensión e interacción profunda con el mundo 3D. A través de rigurosos experimentos, demostramos el excelente rendimiento de LEO en una amplia gama de tareas, incluyendo subtitulado 3D, preguntas y respuestas, razonamiento, navegación y manipulación robótica.