アレン人工知能研究所（AI2）は、高性能と低コストのソリューションを提供することを目的とした、オープンソースの大規模言語モデルOLMoEを発表しました。このモデルは、スパース混合専門家（MoE）アーキテクチャを採用しており、70億のパラメータを備えています。しかし、インテリジェントなルーティングメカニズムにより、各入力トークンは10億のパラメータしか使用せず、効率的な計算を実現しています。OLMoEには、汎用版と指示調整版の2つのバージョンがあり、4096トークンのコンテキストウィンドウをサポートしています。そのトレーニングデータはCommon Crawl、Dolma CC、ウィキペディアなど、幅広いソースから収集されています。