लीओ एक बड़े भाषा मॉडल पर आधारित बहु-मोडल, बहु-कार्य सर्वशक्तिमान एजेंट है, जो 3D दुनिया में अनुभूति, स्थिति निर्धारण, तर्क, योजना और कार्यों के निष्पादन में सक्षम है। लीओ दो चरणों के प्रशिक्षण के माध्यम से प्राप्त होता है: (i) 3D दृश्य भाषा संरेखण और (ii) 3D दृश्य भाषा क्रिया निर्देश समायोजन। हमने वस्तु-स्तर और दृश्य-स्तर बहु-मोडल कार्यों वाले एक बड़े पैमाने पर डेटासेट की सावधानीपूर्वक योजना बनाई और उत्पन्न की, जिसके लिए 3D दुनिया की गहन समझ और संपर्क की आवश्यकता है। कठोर प्रयोगों के माध्यम से, हमने 3D उपशीर्षक, प्रश्नोत्तर, तर्क, नेविगेशन और रोबोट संचालन जैसे व्यापक कार्यों में लियो के उत्कृष्ट प्रदर्शन को प्रदर्शित किया है।