एलन आर्टिफिशियल इंटेलिजेंस रिसर्च इंस्टीट्यूट (AI2) ने OLMoE नामक एक ओपन-सोर्स बड़े भाषा मॉडल पेश किया है, जिसका उद्देश्य उच्च प्रदर्शन और कम लागत समाधान प्रदान करना है। इस मॉडल में स्पर्श मिश्रित विशेषज्ञ (MoE) आर्किटेक्चर है, जिसमें 7 अरब पैरामीटर हैं, लेकिन स्मार्ट राउटिंग तंत्र के माध्यम से, प्रत्येक इनपुट टोकन केवल 1 अरब पैरामीटर का उपयोग करता है, जिससे कुशल गणना संभव होती है। OLMoE में सामान्य और निर्देश ट्यूनिंग के दो संस्करण हैं, जो 4096 टोकन के संदर्भ विंडो का समर्थन करते हैं। इसके प्रशिक्षण डेटा का स्रोत विविध है, जिसमें कॉमन क्रॉल, डोलमा CC और विकिपीडिया शामिल हैं।