LEOは、大規模言語モデルに基づくマルチモーダル、マルチタスク対応の万能エージェントであり、3D世界において、知覚、位置特定、推論、計画、タスク実行が可能です。LEOは、（i）3D視覚言語アライメントと（ii）3D視覚言語行動指示調整という二段階のトレーニングによって実現されています。物体レベルとシーンレベルのマルチモーダルタスクを含む大規模データセットを綿密に企画・生成しており、3D世界に対する深い理解とインタラクションが必要です。厳格な実験を通じて、LEOが3D字幕生成、質疑応答、推論、ナビゲーション、ロボット操作など、幅広いタスクにおいて優れた性能を発揮することを実証しました。