近年、大規模言語モデル（LLM）は急速に発展しており、その中心となっているのがTransformerモデルです。Transformerの中核はアテンションメカニズムであり、これは情報フィルターのようなもので、モデルが文中の最も重要な部分に注目できるようにします。しかし、強力なTransformerでさえ、無関係な情報によって妨げられることがあり、図書館で本を探しているのに、無関係な本に埋もれて効率が低下するようなものです。このアテンションメカニズムによって生じる無関係な情報は、論文ではアテンションノイズと呼ばれています。例えば、あなたが…