O Zamba2-mini é um modelo de linguagem pequeno lançado pela Zyphra Technologies Inc., projetado para aplicações em dispositivos. Mantendo um uso de memória extremamente baixo (<700MB), ele alcança pontuações e desempenho de avaliação comparáveis a modelos maiores. O modelo utiliza quantização de 4 bits, apresentando uma redução de 7 vezes nos parâmetros sem perder o desempenho. O Zamba2-mini demonstra excelente eficiência de inferência, com tempo de geração do primeiro token mais rápido, menor consumo de memória e menor latência de geração em comparação com modelos maiores, como o Phi3-3.8B. Além disso, os pesos do modelo foram lançados como código aberto (Apache 2.0), permitindo que pesquisadores, desenvolvedores e empresas aproveitem suas capacidades para impulsionar os limites dos modelos básicos eficientes.