Der Forscher Flood Sung von „Mondfinsternis“ (Yue zhi an mian) veröffentlichte kürzlich einen ausführlichen Artikel, in dem er erstmals die Entwicklungsstrategie des k1.5-Modells detailliert beschreibt und eine tiefgreifende Reflexion über die technischen Erkenntnisse des OpenAI o1-Modells anstellt.
Laut Flood Sung wurde die Bedeutung von Long-CoT (Long Chain of Thought, lange Denkverkettung) bereits vor über einem Jahr von Tim Zhou Xinyu, Mitbegründer von „Mondfinsternis“, bestätigt. Durch das Trainieren kleiner Modelle mit mehrstelligen Berechnungen und die Umwandlung der fein granularen Berechnungsprozesse in Long-Chain-of-Thought-Daten für SFT (Supervised Fine-Tuning, überwachtes Feintuning) lassen sich bemerkenswerte Ergebnisse erzielen.
Aufgrund von Kostenüberlegungen konzentrierte sich „Mondfinsternis“ jedoch zuvor auf die Optimierung von Long Context (langer Texteingabe). Flood Sung erklärt, dass Long Context hauptsächlich die Eingabe verarbeitet und mit Prefill (Vorabfüllung) und Mooncake-Technologie die Kosten und Geschwindigkeit gut kontrolliert werden können. Im Gegensatz dazu konzentriert sich Long-CoT auf die Ausgabe und erfordert höhere Kosten und längere Verarbeitungszeiten.
Die Veröffentlichung von OpenAI o1 veranlasste das Team jedoch, die Priorität der technischen Ausrichtung neu zu bewerten. „Die Leistung ist am wichtigsten“, sagt Flood Sung. „Kosten und Geschwindigkeit werden sich mit dem technischen Fortschritt ständig verbessern. Der Schlüssel ist, zuerst die Leistung zu verbessern.“ Aufgrund dieser Erkenntnis hat „Mondfinsternis“ die Long-CoT-Forschung umfassend vorangetrieben, um dem Modell ein freieres Denken zu ermöglichen, das dem menschlichen Denken näher kommt.
Die Veröffentlichung dieses Artikels zur technischen Entschlüsselung markiert den Beginn einer systematischen Benchmarking-Arbeit des o1-Modells durch „Mondfinsternis“ und die Aufnahme konkreter Forschungsarbeiten in diesem Bereich.
Entschlüsselung des o1-Crackprozesses in einem ausführlichen Artikel:https://mp.weixin.qq.com/s/sJmT-tM3A-mglZ1d4OI80A