Llama-3 70B निर्देश ग्रेडिएंट 1048k एक उन्नत भाषा मॉडल है जिसे ग्रेडिएंट एआई टीम द्वारा विकसित किया गया है। यह 1048K से अधिक तक संदर्भ लंबाई का विस्तार करके दिखाता है कि SOTA (अत्याधुनिक) भाषा मॉडल उचित समायोजन के बाद लंबे टेक्स्ट को संसाधित करने में सीख सकते हैं। इस मॉडल में NTK-जागरूक अंतर्सलन और RingAttention तकनीक, साथ ही EasyContext Blockwise RingAttention पुस्तकालय का उपयोग किया गया है, ताकि उच्च-प्रदर्शन कंप्यूटिंग क्लस्टर पर कुशलतापूर्वक प्रशिक्षण दिया जा सके। व्यावसायिक और शोध उद्देश्यों में इसकी व्यापक अनुप्रयोग क्षमता है, खासकर उन परिदृश्यों में जहां लंबे टेक्स्ट प्रसंस्करण और निर्माण की आवश्यकता होती है।