A startup francesa de IA, Les Ministraux, lançou dois novos modelos leves, Ministral3B e Ministral8B, projetados especificamente para dispositivos de borda, com 3 bilhões e 8 bilhões de parâmetros, respectivamente. Esses modelos apresentaram desempenho excepcional em testes de benchmark de seguimento de instruções. O Ministral3B superou o Llama38B e o Mistral7B, enquanto o Ministral8B superou esses dois modelos em todos os aspectos, exceto na capacidade de codificação.
Os resultados dos testes mostraram que o desempenho do Ministral3B e do Ministral8B é comparável ao de modelos de código aberto como Gemma2 e Llama3.1. Ambos os modelos suportam um contexto de até 128k e estabelecem um novo padrão para modelos com menos de 10 bilhões de parâmetros em termos de conhecimento, senso comum, raciocínio, chamadas de funções e eficiência. O Ministral8B também possui um mecanismo de atenção de janela deslizante para inferência de memória mais rápida e eficiente. Eles podem ser ajustados finamente para vários casos de uso, como gerenciar fluxos de trabalho complexos de agentes de IA ou criar assistentes de tarefas especializados.
Os pesquisadores realizaram vários testes de benchmark nos modelos Les Ministraux, cobrindo conhecimento e senso comum, código, matemática e idiomas. Na fase de pré-treinamento, o Ministral3B obteve os melhores resultados em comparação com o Gema22B e o Llama3.23B. O Ministral8B apresentou o melhor desempenho em comparação com o Llama3.18B e o Mistral7B em todos os aspectos, exceto na capacidade de codificação. Na fase de modelo de instrução ajustado finamente, o Ministral3B obteve os melhores resultados em diferentes testes de benchmark, enquanto o Ministral8B ficou ligeiramente atrás do Gema29B apenas no Wild bench.
O lançamento dos modelos Les Ministraux oferece aos usuários soluções de alta eficiência computacional e baixa latência, atendendo à crescente demanda por inferência prioritária local para aplicativos críticos. Os usuários podem aplicar esses modelos a cenários como tradução em dispositivos, assistentes inteligentes sem conexão com a internet e robôs autônomos. O preço de entrada e saída do Ministral8B é de US$ 0,1 por milhão de tokens, enquanto o do Ministral3B é de US$ 0,04 por milhão de tokens.
É importante notar que a empresa Mistral anteriormente havia lançado vários modelos de código aberto por meio de links magnéticos e recebeu o reconhecimento da comunidade de IA. No entanto, a empresa se envolveu em controvérsias este ano, pois não é mais tão aberta quanto antes. Há relatos de que a Microsoft adquirirá parte das ações da Mistral e investirá nela, o que significa que os modelos da Mistral serão hospedados no Azure AI. Usuários do Reddit descobriram que a Mistral removeu seu compromisso de código aberto de seu site. Alguns modelos da empresa também começaram a cobrar, incluindo os Ministral3B e Ministral8B lançados desta vez.
Detalhes: https://mistral.ai/news/ministraux/