AI21 Labs ने हाल ही में Jambaa 1.6 जारी किया है, जो एक उन्नत भाषा मॉडल है जो लंबे टेक्स्ट को संसाधित करने की क्षमता में क्रांति लाता है। यह कई भाषाओं का समर्थन करता है, जिससे यह विभिन्न अनुप्रयोगों के लिए एक बहुमुखी उपकरण बन जाता है।

Mamba टीम के शोध के निष्कर्ष बड़े Transformer मॉडल Llama को Mamba में "डिस्टिल" करने पर केंद्रित हैं, एक नए प्रकार की निष्कर्षण डिकोडिंग एल्गोरिदम के डिज़ाइन के माध्यम से, निष्कर्षण गति में काफी वृद्धि की गई है। शोध का लक्ष्य Llama के समृद्ध ज्ञान का उपयोग करते हुए बड़े मॉडल को शून्य से प्रशिक्षण के उच्च लागत को कम करना है। शोध टीम ने प्रगतिशील डिस्टिलेशन, पर्यवेक्षित माइक्रो-ट्यूनिंग और लक्ष्य-प्रवृत्ति ऑप्टिमाइजेशन जैसे तरीकों को संयोजित किया, जिससे Zephyr-7B और Llama-38B को सफलतापूर्वक रैखिक RNN में परिवर्तित किया गया।