Das französische KI-Startup Les Ministraux hat zwei neue, leichtgewichtige Modelle namens Ministral3B und Ministral8B vorgestellt, die speziell für Edge-Geräte entwickelt wurden und 3 Milliarden bzw. 8 Milliarden Parameter umfassen. Diese Modelle zeigen in Benchmarks für die Anweisungsbefolgung hervorragende Ergebnisse: Ministral3B übertrifft Llama38B und Mistral7B, während Ministral8B in allen Bereichen außer der Code-Fähigkeit besser abschneidet als diese beiden Modelle.
Tests zeigen, dass die Leistung von Ministral3B und Ministral8B mit Open-Source-Modellen wie Gemma2 und Llama3.1 vergleichbar ist. Beide Modelle unterstützen einen Kontext von bis zu 128k Tokens und setzen neue Maßstäbe für Modelle mit weniger als 10 Milliarden Parametern in Bezug auf Wissen, Allgemeinwissen, Schlussfolgerungen, Funktionsaufrufe und Effizienz. Ministral8B verfügt außerdem über einen Sliding-Window-Aufmerksamkeitsmechanismus für schnellere und effizientere Inferenz im Speicher. Sie können für verschiedene Anwendungsfälle feinabgestimmt werden, z. B. für die Verwaltung komplexer KI-Agenten-Workflows oder die Erstellung spezialisierter Aufgaben-Assistenten.
Die Forscher führten mehrere Benchmarks für die Les Ministraux-Modelle durch, die Bereiche wie Wissen und Allgemeinwissen, Code, Mathematik und mehrere Sprachen abdecken. In der Phase der vortrainierten Modelle erzielte Ministral3B im Vergleich zu Gema22B und Llama3.23B die besten Ergebnisse. Ministral8B erzielte im Vergleich zu Llama3.18B und Mistral7B in allen Bereichen außer der Code-Fähigkeit die besten Ergebnisse. In der Phase der feinabgestimmten Anweisungsmodelle erzielte Ministral3B in verschiedenen Benchmarks die besten Ergebnisse, während Ministral8B im Wild-Bench nur geringfügig schlechter abschnitt als Gema29B.
Die Einführung der Les Ministraux-Modelle bietet Benutzern eine hochgradig rechenintensive, latenzarme Lösung, die den wachsenden Bedarf an lokaler Prioritätsinferenz für kritische Anwendungen erfüllt. Benutzer können diese Modelle für gerätebasierte Übersetzungen, vernetzte intelligente Assistenten und autonome Roboter einsetzen. Der Preis für die Ein- und Ausgabe von Ministral8B beträgt 0,1 US-Dollar pro Million Tokens, während Ministral3B 0,04 US-Dollar pro Million Tokens kostet.
Bemerkenswert ist, dass Mistral zuvor mehrere Modelle über Magnetlinks als Open Source veröffentlicht und Anerkennung in der KI-Community erhalten hatte. Das Unternehmen geriet jedoch in diesem Jahr in die Kritik, da es nicht mehr so offen ist wie zuvor. Es gibt Berichte, dass Microsoft einen Teil der Anteile an Mistral übernehmen und in das Unternehmen investieren wird, was bedeutet, dass die Modelle von Mistral auf Azure AI gehostet werden. Reddit-Nutzer haben festgestellt, dass Mistral die Zusicherung zum Open Source auf seiner Website entfernt hat. Einige Modelle des Unternehmens werden jetzt auch kostenpflichtig angeboten, darunter die jetzt veröffentlichten Ministral3B und Ministral8B.
Details: https://mistral.ai/news/ministraux/