हाल के वर्षों में, बड़े भाषा मॉडल (LLMs) ने प्राकृतिक भाषा संसाधन (NLP) के क्षेत्र में महत्वपूर्ण प्रगति की है, जिनका पाठ उत्पादन, सारांश और प्रश्न-उत्तर जैसे क्षेत्रों में व्यापक रूप से उपयोग किया गया है। हालाँकि, ये मॉडल शब्द दर शब्द भविष्यवाणी करने वाले टोकन स्तर की प्रक्रिया पर निर्भर करते हैं, जो संदर्भ को समझने में कठिनाई पैदा करता है और अक्सर असंगत आउटपुट उत्पन्न करता है। इसके अलावा, LLMs को बहुभाषी और मल्टी-मोडल अनुप्रयोगों में फैलाने पर, गणना की लागत और डेटा की आवश्यकता भी अपेक्षाकृत अधिक होती है। इन समस्याओं को हल करने के लिए, Meta AI ने एक बिल्कुल नई विधि का प्रस्ताव दिया है।