Les grands modèles linguistiques (LLM) connaissent un développement fulgurant ces derniers temps, et les modèles Transformer y jouent un rôle essentiel. Au cœur des Transformer se trouve le mécanisme d'attention, qui agit comme un filtre d'information, permettant au modèle de se concentrer sur les parties les plus importantes d'une phrase. Mais même les puissants Transformer peuvent être perturbés par des informations non pertinentes, comme si vous cherchiez un livre à la bibliothèque et étiez submergé par une pile de livres inutiles, ce qui réduit naturellement l'efficacité. Ces informations non pertinentes générées par le mécanisme d'attention sont appelées "bruit d'attention" dans les publications scientifiques. Imaginez que vous vouliez...