大規模言語モデル（LLM）は自然言語処理（NLP）分野で目覚ましい進歩を遂げ、テキスト生成、要約、質疑応答などのアプリケーションで大きな成功を収めています。しかし、LLMはトークンレベルの処理（一度に1単語ずつ予測）に依存しているため、いくつかの課題も抱えています。このアプローチは、通常はより高い抽象レベル（文やアイデアなど）で動作する人間のコミュニケーション方法とは対照的です。トークンレベルのモデリングは、長いコンテキストの理解が必要なタスクでは非効率的で、矛盾した出力を生む可能性があります。さらに、これらのモデルを…