LongLLaMA एक बड़ा भाषा मॉडल है जो लंबे पाठ को संसाधित करने में सक्षम है। यह OpenLLaMA पर आधारित है और Focused Transformer (FoT) विधि से सूक्ष्म-समायोजित किया गया है। यह 256k टोकन या उससे भी अधिक लंबे पाठ को संसाधित कर सकता है। हम एक छोटा 3B आधार मॉडल (निर्देश-समायोजित नहीं) प्रदान करते हैं, और Hugging Face पर लंबे संदर्भ अनुमान के लिए कोड प्रदान करते हैं। हमारे मॉडल वज़न मौजूदा कार्यान्वयन में LLaMA के विकल्प के रूप में काम कर सकते हैं (अधिकतम 2048 टोकन के छोटे संदर्भ के लिए उपयुक्त)। इसके अलावा, हम मूल्यांकन परिणाम और मूल OpenLLaMA मॉडल के साथ तुलना भी प्रदान करते हैं।