近年、大規模言語モデル（LLM）は自然言語処理（NLP）分野で著しい進歩を遂げ、テキスト生成、要約、質疑応答などの場面で広く活用されています。しかし、これらのモデルは単語単位の予測に基づくトークンレベルの処理方法に依存しており、文脈理解が困難で、しばしば矛盾した出力が生じるという課題があります。さらに、LLMを多言語やマルチモーダルなアプリケーションに拡張する場合、計算コストとデータ要件も比較的高いです。これらの問題を解決するため、Meta AIは全く新しいアプローチを提案しました