MoBA (Mixture of Block Attention) ist ein innovativer Aufmerksamkeitsmechanismus, der speziell für große Sprachmodelle mit langen Textkontexten entwickelt wurde. Er verarbeitet lange Sequenzen effizient, indem er den Kontext in Blöcke unterteilt und jedem Query-Token erlaubt, die relevantesten Blöcke zu beachten. Der Hauptvorteil von MoBA ist die nahtlose Umschaltung zwischen vollständiger und spärlicher Aufmerksamkeit, wodurch sowohl die Leistung als auch die Rechenleistung verbessert werden. Diese Technologie eignet sich für Aufgaben, die die Verarbeitung langer Texte erfordern, wie z. B. Dokumentenanalyse und Codegenerierung. Sie senkt die Rechenkosten deutlich, während die Hochleistung des Modells erhalten bleibt. Die Open-Source-Implementierung von MoBA bietet Forschern und Entwicklern ein leistungsstarkes Werkzeug und fördert die Anwendung großer Sprachmodelle in der Verarbeitung langer Texte.