Microsoft hat ein neues Mitglied der Phi-Serie von generativen KI-Modellen angekündigt: Phi-4. Im Vergleich zu vorherigen Versionen wurde Phi-4 in mehreren Bereichen verbessert, insbesondere bei der Lösung mathematischer Probleme, was auf die höhere Qualität der Trainingsdaten zurückzuführen ist.
Bis Donnerstagabend war der Zugriff auf Phi-4 relativ eingeschränkt. Es ist nur über die kürzlich von Microsoft eingeführte Azure AI Foundry-Entwicklungsplattform verfügbar und ausschließlich für Forschungszwecke im Rahmen der Microsoft-Forschungslizenzvereinbarung zugänglich.
Bildquelle: Das Bild wurde von KI generiert und stammt von Midjourney.
Phi-4 ist das neueste kleine Sprachmodell von Microsoft mit 14 Milliarden Parametern. Es ist vergleichbar mit anderen kleinen Modellen wie GPT-4o mini, Gemini 2.0 Flash und Claude 3.5 Haiku. Diese kleinen Modelle zeichnen sich in der Regel durch schnellere Ausführungszeiten und geringere Kosten aus. Die Leistung kleiner Sprachmodelle hat in den letzten Jahren stetig zugenommen.
Microsoft führt die Leistungsverbesserung von Phi-4 auf die Verwendung von „hochwertigen synthetischen Datensätzen“ und hochwertigen Datensätzen aus menschlich generierten Inhalten sowie auf nicht näher spezifizierte Verbesserungen nach dem Training zurück.
Viele KI-Labore beobachten derzeit aufmerksam das Potenzial von synthetischen Daten und Nachtraining zur Verbesserung der Modellleistung. Alexandr Wang, CEO von Scale AI, erwähnte in einem Tweet am Donnerstag: „Wir haben den Engpass bei den Trainingsdaten erreicht.“ Diese Aussage bestätigt auch einige aktuelle Berichte zu diesem Thema.
Zu beachten ist außerdem, dass Phi-4 das erste Phi-Modell ist, das nach dem Abschied von Sebastién Bubeck, Microsofts Vizepräsident für KI, veröffentlicht wurde. Bubeck spielte eine wichtige Rolle im Bereich KI bei Microsoft und war eine Schlüsselfigur bei der Entwicklung der Phi-Modelle. Bubeck verließ Microsoft im Oktober und wechselte zu OpenAI.