Ein Forschungsteam der Stanford University und der University of Washington hat kürzlich eine bahnbrechende Methode zum Trainieren von KI-Modellen veröffentlicht, genannt S1. Das Kernkonzept besteht in einer extrem einfachen Skalierungstechnik während des Tests, um die Inferenzfähigkeit von Sprachmodellen deutlich zu verbessern. Im Gegensatz zu bisherigen Ansätzen, die auf enorme Rechenleistung oder komplexe Algorithmen angewiesen sind, erzielt S1 durch geschickte Steuerung der Ressourcenverteilung während des Tests einen enormen Leistungssprung.
S1 basiert zunächst auf einem sorgfältig erstellten kleinen Datensatz namens s1K mit 1000 hochwertigen Inferenzaufgaben. Die Auswahlkriterien für diesen Datensatz waren sehr streng: hohe Schwierigkeit, große Vielfalt und hohe Qualität mussten gleichzeitig erfüllt sein. Ausführliche Ablationsexperimente bestätigten die Bedeutung dieser drei Kriterien. Die Ergebnisse zeigten, dass eine zufällige Auswahl oder die Konzentration auf nur ein Kriterium zu einem erheblichen Leistungsabfall führt. Bemerkenswert ist, dass selbst das Training mit einem deutlich größeren Datensatz von 59.000 Beispielen weit schlechtere Ergebnisse lieferte als die sorgfältig ausgewählten 1000 Beispiele – ein Beweis für die entscheidende Rolle der Datenauswahl.
Nach dem Modelltraining steuern die Forscher den Rechenaufwand während des Tests mit einer Technik namens „Budget-Zwang“. Vereinfacht gesagt, wird der Denkprozess des Modells durch Zwangsabbruch oder das Einfügen von „Warte“-Befehlen verlängert, um das Modell zu tiefergehenden Überprüfungen und Validierungen anzuregen. So kann das Modell seine Inferenzschritte wiederholt überprüfen und Fehler effektiv korrigieren.
Die Ergebnisse zeigen, dass das s1-32B-Modell nach Feinabstimmung auf dem s1K-Datensatz und unter Anwendung der „Budget-Zwang“-Technik bei wettbewerbsorientierten mathematischen Problemen das OpenAI o1-Preview-Modell um 27 % übertrifft. Noch überraschender ist, dass das s1-32B-Modell durch die „Budget-Zwang“-Skalierung eine über sein Trainingsniveau hinausgehende Generalisierungsfähigkeit aufweist und seine Punktzahl im AIME24-Testset von 50 % auf 57 % steigert.
Der Kernbeitrag dieser Forschung liegt in der Bereitstellung einer einfachen und effizienten Methode zur Erstellung von Datensätzen mit hoher Inferenzfähigkeit und zur Skalierung der Leistung während des Tests. Auf dieser Grundlage entwickelten die Forscher das s1-32B-Modell, dessen Leistung geschlossenen Modellen ebenbürtig oder sogar überlegen ist, bei gleichzeitig offener Verfügbarkeit und hoher Stichprobeneffizienz. Code, Modell und Daten wurden auf GitHub veröffentlicht.
Die Forscher führten außerdem detaillierte Ablationsexperimente zu den Feinheiten der Daten und der Skalierungstechnik während des Tests durch. Bezüglich der Daten stellten sie fest, dass die gleichzeitige Berücksichtigung von Schwierigkeit, Vielfalt und Qualität entscheidend ist. Bei der Skalierung während des Tests zeigte sich die „Budget-Zwang“-Methode als äußerst kontrollierbar und leistungsfördernd. Die Studie untersucht auch parallele und sequentielle Skalierungsmethoden und führt fortschrittliche Techniken wie REBASE ein, die wichtige Impulse für zukünftige Forschungsarbeiten liefern.
Diese Forschung bietet nicht nur einen kostengünstigen und effizienten neuen Ansatz für das KI-Training, sondern legt auch ein solides Fundament für eine breitere Anwendung von KI.
论文地址：https://arxiv.org/pdf/2501.19393
