Gemma 2B - 10M Context एक बड़ा भाषा मॉडल है जो अभिनव ध्यान तंत्र अनुकूलन के माध्यम से 32GB से कम मेमोरी उपयोग के साथ 10M तक के अनुक्रमों को संसाधित कर सकता है। यह मॉडल चक्रीय स्थानीय ध्यान तकनीक का उपयोग करता है, जो ट्रांसफॉर्मर-XL पेपर से प्रेरित है, और बड़े पैमाने पर भाषा कार्यों को संसाधित करने के लिए एक शक्तिशाली उपकरण है।