Sakana AI एक ऐसी人工智能 अनुसंधान प्रयोगशाला है जो प्राकृतिक प्रेरित एल्गोरिदम पर केंद्रित है, हाल ही में इसने एक नवाचारी अनुकूली भाषा मॉडल, जिसे Transformer² (Transformer-squared) कहा जाता है, लॉन्च किया है। यह मॉडल महंगे माइक्रोट्यूनिंग के बिना अनुमान प्रक्रिया में नई कार्यों के लिए गतिशील रूप से सीखने और खुद को अनुकूलित करने में सक्षम है, जो बड़े भाषा मॉडल (LLM) तकनीकी विकास में एक महत्वपूर्ण कदम का प्रतीक है। Transformer² की मुख्य नवाचार इसकी अद्वितीय दो कदमों वाली गतिशील वजन समायोजन तंत्र है।

पारंपरिक बड़े भाषा मॉडल (LLM) के सूक्ष्म समायोजन विधियाँ आम तौर पर संसाधन-गहन होती हैं, और विविध कार्यों को संभालने में स्थिरता दिखाती हैं। इन चुनौतियों का समाधान करने के लिए, साकाना एआई ने एक नए प्रकार के अनुकूली ढांचे का परिचय दिया है, जिसका नाम Transformer² है। Transformer² तर्क के दौरान LLM के वजन को वास्तविक समय में समायोजित करने में सक्षम है, जिससे यह अज्ञात कार्यों के अनुकूलन में ऑक्टोपस की तरह लचीला हो जाता है। Transformer² का मूल एक दो-चरणीय तंत्र में है: पहले चरण में, एक शेड्यूलिंग सिस्टम