Recientemente, los modelos de lenguaje grandes (LLM) han experimentado un rápido desarrollo, y los modelos Transformer han sido cruciales en este avance. El núcleo de Transformer es el mecanismo de atención, que actúa como un filtro de información, permitiendo que el modelo se centre en las partes más importantes de una oración. Pero incluso los poderosos Transformer pueden verse afectados por información irrelevante, como si estuvieras buscando un libro en una biblioteca y te vieras abrumado por una pila de libros irrelevantes, lo que reduce la eficiencia. Esta información irrelevante generada por el mecanismo de atención se conoce en la literatura como ruido de atención. Imagina que quieres...