近年、大規模言語モデル（LLM）の進歩が目覚ましいですが、その中心となっているのがTransformerモデルです。Transformerの中核はアテンション機構であり、これは情報フィルターのようなもので、モデルが文中で最も重要な部分に注目できるようにします。しかし、強力なTransformerであっても、無関係な情報によって妨害されることがあります。図書館で本を探しているのに、関係のない本に埋もれて効率が悪くなるようなものです。このようなアテンション機構から生じる無関係な情報は、論文ではアテンションノイズと呼ばれています。例えば、あなたが…