Das Forschungsteam NovaSky des Sky Computing Lab der University of California, Berkeley, hat am Freitag das Inferenzmodell Sky-T1-32B-Preview veröffentlicht. Dieses Modell erzielte in mehreren wichtigen Benchmark-Tests hervorragende Ergebnisse und ist vergleichbar mit frühen Versionen von OpenAIs o1 – besonders bemerkenswert sind die extrem niedrigen Trainingskosten.
Sky-T1-32B-Preview ist das erste wirklich Open-Source-Inferenzmodell. NovaSky hat nicht nur das Modell veröffentlicht, sondern auch den zum Training verwendeten Datensatz und den notwendigen Trainingscode. Das bedeutet, dass das Modell von Grund auf reproduziert werden kann. Laut einem Blogbeitrag des Teams betrugen die Trainingskosten von Sky-T1-32B-Preview weniger als 450 US-Dollar. Dies zeigt, dass sich hochentwickelte Inferenzfähigkeiten kostengünstig reproduzieren lassen.
Bildquelle: Das Bild wurde von KI generiert und ist durch Midjourney lizenziert.
Inferenzmodelle unterscheiden sich von gewöhnlichen KI-Modellen. Sie können effektiv eine Selbstprüfung der Fakten durchführen und so gängige Fehler vermeiden. Allerdings benötigen Inferenzmodelle in der Regel länger, um Lösungen zu finden – von einigen Sekunden bis zu mehreren Minuten. Ihr großer Vorteil liegt jedoch in ihrer höheren Zuverlässigkeit in Bereichen wie Physik, Naturwissenschaften und Mathematik.
Das NovaSky-Team gab bekannt, dass es das Inferenzmodell QwQ-32B-Preview von Alibaba verwendet hat, um die anfänglichen Trainingsdaten für Sky-T1 zu generieren. Anschließend wurden die Daten „aufbereitet“ und mit OpenAIs GPT-4o-mini in ein benutzerfreundlicheres Format umgewandelt. Das Training des 32-Milliarden-Parameter-Modells Sky-T1 mit 8 Nvidia H100 GPU-Racks dauerte etwa 19 Stunden. Die Anzahl der Parameter entspricht in etwa der Fähigkeit des Modells, Probleme zu lösen.
In Leistungstests übertraf Sky-T1 die frühe Vorschauversion von o1 bei MATH500 (einer Reihe von „Wettbewerbs“-Mathematikaufgaben) und schlug die Vorschauversion von o1 auch bei einer Reihe von Problemen aus LiveCodeBench (einer Programmierbewertung). Bei GPQA-Diamond, das Probleme aus Physik, Biologie und Chemie umfasst, die ein Doktorand beherrschen sollte, war Sky-T1 jedoch der o1-Vorschauversion unterlegen. Darüber hinaus ist die o1GA-Version von OpenAI leistungsstärker als die Vorschauversion, und OpenAI erwartet die Veröffentlichung eines noch leistungsfähigeren Inferenzmodells o3 in den kommenden Wochen.
Dennoch betont das NovaSky-Team, dass Sky-T1 nur der Anfang ihrer Entwicklung von Open-Source-Modellen mit fortschrittlichen Inferenzfähigkeiten ist. „Zukünftig werden wir uns auf die Entwicklung effizienterer Modelle konzentrieren, die starke Inferenzleistung beibehalten und fortschrittliche Technologien erforschen, um die Effizienz und Genauigkeit des Modells bei Tests weiter zu verbessern“, heißt es in dem Beitrag. „Verfolgen Sie unsere Fortschritte bei diesen spannenden Projekten.“ Das Erscheinen dieses Open-Source-Inferenzmodells bietet dem KI-Bereich zweifellos neue Chancen und Herausforderungen. Seine zukünftige Entwicklung verdient ständige Aufmerksamkeit.