Mit der rasanten Entwicklung generativer KI verändert sich die traditionelle Vorstellung von „größer ist besser“ in der Branche. Mehrere führende KI-Wissenschaftler haben kürzlich erklärt, dass die Methode, die KI-Leistung allein durch Erhöhung der Datenmenge und Rechenleistung zu steigern, an ihre Grenzen stößt und neue technologische Durchbruchsrichtungen sichtbar werden.
Ilya Sutskever, Mitbegründer von Safe Superintelligence und OpenAI, äußerte kürzlich die Ansicht, dass herkömmliche Pretraining-Methoden ein Performance-Plateau erreicht haben. Diese Aussage ist besonders bemerkenswert, da er es war, der frühzeitig die groß angelegten Pretraining-Methoden befürwortet hat, die ChatGPT hervorgebracht haben. Heute sagt er, dass das KI-Feld vom „Ära der Skalierung“ in das „Ära der Wunder und Entdeckungen“ übergegangen ist.
Derzeit stehen große Sprachmodelle vor mehreren Herausforderungen: Trainingskosten von mehreren zehn Millionen Dollar, das Risiko von Hardwareausfällen aufgrund der Systemkomplexität, lange Testzyklen sowie die Beschränkungen bei Datenressourcen und Energieversorgung. Diese Probleme veranlassen die Forscher, neue technologische Wege zu erkunden.
Dabei wird die Technik des „Testzeit-Rechnens“ (Test-time compute) stark beachtet. Diese Methode ermöglicht es KI-Modellen, während des Gebrauchs mehrere Optionen in Echtzeit zu generieren und zu bewerten, anstatt direkt eine einzige Antwort zu liefern. Noam Brown, Forscher bei OpenAI, veranschaulichte dies mit einem Bild: Wenn man die KI 20 Sekunden lang über ein Kartenspiel nachdenken lässt, entspricht das einer Vergrößerung des Modellumfangs und der Trainingszeit um das 100.000-fache.
Derzeit entwickeln mehrere führende KI-Labore, darunter OpenAI, Anthropic, xAI und DeepMind, aktiv ihre eigenen Versionen dieser Technologie. OpenAI hat diese Technologie bereits in seinem neuesten Modell „o1“ eingesetzt. Kevin Weil, Chief Product Officer, sagte, dass sie durch diese innovativen Methoden große Möglichkeiten zur Verbesserung der Modellleistung sehen.
Branchenexperten sind der Ansicht, dass diese Änderung des technologischen Weges die Wettbewerbslandschaft der gesamten KI-Branche neu gestalten und die Ressourcenanforderungen von KI-Unternehmen grundlegend verändern könnte. Dies bedeutet, dass die KI-Entwicklung in eine neue Phase eintritt, in der die Qualitätsverbesserung im Vordergrund steht und nicht mehr die bloße Skalierung.