EasyContext एक ओपन-सोर्स प्रोजेक्ट है जिसका उद्देश्य सामान्य हार्डवेयर का उपयोग करके भाषा मॉडल को प्रशिक्षित करने के लिए संदर्भ लंबाई को 1 मिलियन टोकन तक बढ़ाना है, विभिन्न तकनीकों के संयोजन से। इसमें मुख्य रूप से क्रमबद्ध समानांतरकरण, Deepspeed zero3 ऑफ़लोडिंग, फ्लैश ध्यान और सक्रियण चेकपॉइंट जैसी तकनीकें शामिल हैं। यह परियोजना कोई नया नवाचार प्रस्तुत नहीं करती है, बल्कि इस लक्ष्य को प्राप्त करने के लिए मौजूदा तकनीकों के संयोजन को प्रदर्शित करती है। Llama-2-7B और Llama-2-13B के दो मॉडल सफलतापूर्वक प्रशिक्षित किए गए हैं, जिन्होंने क्रमशः 8 A100 और 16 A100 पर 700K और 1M टोकन की संदर्भ लंबाई प्राप्त की है।