MetaはLlama 2-Longモデルを発表しました。これは長文テキストを処理する際に計算需要を増やすことなく、優れた性能を維持します。持続的プリトレーニング、位置エンコーディングの改良、データ混合戦略を採用することで、計算コストを最大40％削減することに成功しました。長文・短文の両方のタスクで優れたパフォーマンスを発揮し、他の長文コンテキストモデルを凌駕しており、自然言語処理分野に革命を起こす可能性を秘めています。エンコーディング、数学、知識集約型タスクにおいて顕著な改善が見られ、GPT-3.5をも上回っています。Llama 2-Longモデルの発表は、長文テキスト処理における強力なソリューションを提供します。