MoBA (Mixture of Block Attention) est un mécanisme d'attention innovant, conçu pour les grands modèles de langage traitant de longs contextes textuels. Il permet un traitement efficace des longues séquences en divisant le contexte en blocs et en faisant apprendre à chaque jeton de requête à se concentrer sur les blocs les plus pertinents. Le principal avantage de MoBA est sa capacité à basculer de manière transparente entre l'attention complète et l'attention parcimonieuse, garantissant ainsi à la fois les performances et l'efficacité de calcul. Cette technologie convient aux tâches nécessitant le traitement de longs textes, telles que l'analyse de documents et la génération de code, permettant de réduire considérablement les coûts de calcul tout en maintenant des performances élevées du modèle. L'implémentation open source de MoBA offre aux chercheurs et aux développeurs un outil puissant qui favorise l'application des grands modèles de langage au traitement de longs textes.