हाल ही में कैलिफोर्निया विश्वविद्यालय बर्कले के शोधकर्ताओं ने बड़ा विश्व मॉडल (LWM) ओपन सोर्स किया है, जो एक बार में 10 लाख डेटा को समझने में सक्षम है और टेक्स्ट से वीडियो और चित्र बनाने की क्षमता रखता है। इस मॉडल ने रिंग अटेंशन तकनीक के माध्यम से लंबे अनुक्रम अटेंशन की गणना की समस्या को हल किया है, जिससे मल्टी-मोडल जानकारी की कुशलता से प्रोसेसिंग संभव हो सकी है। इसने भाषा मॉडल पूर्व प्रशिक्षण और मल्टी-मोडल पूर्व प्रशिक्षण के दो चरणों के माध्यम से उल्लेखनीय परिणाम प्राप्त किए हैं।