Mamba-2 est un nouveau modèle de séquence développé par Goomba AI Lab, visant à améliorer l'efficacité et les performances des modèles de séquence au sein de la communauté du machine learning. En utilisant un modèle de dualité d'espace d'état structuré (SSD), il combine les avantages des modèles d'espace d'état (SSM) et des mécanismes d'attention, offrant ainsi un processus d'entraînement plus efficace et des dimensions d'état plus importantes. La conception de Mamba-2 permet au modèle d'exploiter la multiplication matricielle pendant l'entraînement, améliorant ainsi l'efficacité matérielle. De plus, Mamba-2 excelle dans des tâches telles que la mémoire associative multi-requêtes (MQAR), démontrant son potentiel dans les tâches complexes de traitement de séquences.