Star-Attention ist ein von NVIDIA entwickelter neuartiger Mechanismus für blockweise dünnbesetzte Aufmerksamkeit, der die Inferenzeffizienz großer, auf Transformer basierender Sprachmodelle (LLM) bei langen Sequenzen verbessern soll. Die Technik steigert die Inferenzgeschwindigkeit durch zwei Phasen deutlich, während gleichzeitig eine Genauigkeit von 95–100 % erhalten bleibt. Sie ist mit den meisten Transformer-basierten LLMs kompatibel und kann ohne zusätzliches Training oder Feintuning direkt eingesetzt werden. Darüber hinaus lässt sie sich mit anderen Optimierungsmethoden wie Flash Attention und KV-Cache-Komprimierung kombinieren, um die Leistung weiter zu steigern.