La startup française d'IA Les Ministraux lance deux nouveaux modèles légers, Ministral3B et Ministral8B, spécialement conçus pour les appareils en périphérie, avec respectivement 3 et 8 milliards de paramètres. Ces deux modèles ont excellé lors de tests de référence sur le suivi d'instructions : Ministral3B surpassant Llama38B et Mistral7B, tandis que Ministral8B a été meilleur que ces deux modèles sur tous les aspects sauf la capacité de codage.
Les résultats des tests montrent que les performances de Ministral3B et Ministral8B sont comparables à celles de modèles open source tels que Gemma2 et Llama3.1. Ces deux modèles prennent en charge un contexte jusqu'à 128 k et établissent une nouvelle référence pour les modèles de moins de 10 milliards de paramètres en termes de connaissances, de bon sens, de raisonnement, d'appels de fonctions et d'efficacité. Ministral8B est également équipé d'un mécanisme d'attention à fenêtre glissante pour un raisonnement en mémoire plus rapide et plus efficace. Ils peuvent être affinés pour une variété d'utilisations, telles que la gestion de workflows complexes d'agents IA intelligents ou la création d'assistants dédiés à des tâches spécifiques.
Les chercheurs ont soumis les modèles Les Ministraux à plusieurs tests de référence, couvrant des domaines tels que les connaissances et le bon sens, le code, les mathématiques et les langues multiples. Au stade des modèles pré-entraînés, Ministral3B a obtenu les meilleurs résultats en comparaison avec Gema22B et Llama3.23B. Ministral8B a obtenu les meilleurs résultats que Llama3.18B et Mistral7B sur tous les aspects sauf la capacité de codage. Au stade des modèles d'instructions affinés, Ministral3B a obtenu les meilleurs résultats dans différents tests de référence, Ministral8B étant légèrement inférieur à Gema29B uniquement sur Wild bench.
Le lancement des modèles Les Ministraux offre aux utilisateurs une solution à haute efficacité de calcul et à faible latence, répondant à la demande croissante d'inférence locale prioritaire pour les applications critiques. Les utilisateurs peuvent appliquer ces modèles à des scénarios tels que la traduction sur appareil, les assistants intelligents hors ligne et les robots autonomes. Le prix d'entrée/sortie de Ministral8B est de 0,1 $ par million de jetons, tandis que celui de Ministral3B est de 0,04 $ par million de jetons.
Il est à noter que la société Mistral avait auparavant publié en open source plusieurs modèles via des liens magnétiques, recevant ainsi l'approbation de la communauté IA. Cependant, la société a été impliquée dans des controverses cette année, car elle n'est plus aussi ouverte qu'avant. Il a été rapporté que Microsoft acquerrait une partie des parts de Mistral et y investirait, ce qui signifie que les modèles de Mistral seraient hébergés sur Azure AI. Des utilisateurs de Reddit ont constaté que Mistral avait supprimé de son site web ses engagements concernant l'open source. Certains modèles de la société ont également commencé à être payants, y compris les Ministral3B et Ministral8B lancés ici.
Détails : https://mistral.ai/news/ministraux/