MoBA (Mezcla de Atención por Bloques) es un mecanismo de atención innovador, diseñado para modelos lingüísticos grandes con contextos de texto largo. Al dividir el contexto en bloques y permitir que cada token de consulta aprenda a prestar atención a los bloques más relevantes, logra un procesamiento eficiente de secuencias largas. La principal ventaja de MoBA es su capacidad para cambiar sin problemas entre la atención completa y la atención dispersa, garantizando así el rendimiento y mejorando la eficiencia computacional. Esta tecnología es adecuada para tareas que requieren el procesamiento de textos largos, como el análisis de documentos y la generación de código, y permite reducir significativamente los costes computacionales manteniendo un alto rendimiento del modelo. La implementación de código abierto de MoBA proporciona a investigadores y desarrolladores una herramienta poderosa que impulsa la aplicación de modelos lingüísticos grandes en el procesamiento de textos largos.