Zamba2-mini es un modelo de lenguaje pequeño lanzado por Zyphra Technologies Inc., diseñado para aplicaciones en dispositivos. Mantiene un consumo de memoria extremadamente bajo (<700 MB) al tiempo que logra puntuaciones y rendimiento comparables a modelos más grandes. El modelo emplea cuantificación de 4 bits, lo que resulta en una reducción de parámetros 7 veces mayor mientras mantiene el mismo rendimiento. Zamba2-mini destaca por su eficiencia de inferencia, ofreciendo un tiempo de generación del primer token más rápido, menor consumo de memoria y menor latencia de generación en comparación con modelos más grandes como Phi3-3.8B. Además, los pesos del modelo se han publicado con código abierto (Apache 2.0), permitiendo a investigadores, desarrolladores y empresas aprovechar su potencial e impulsar los límites de los modelos básicos eficientes.