Das mit Spannung erwartete GPT-5-Projekt (Codename Orion) befindet sich seit über 18 Monaten in der Entwicklung, ohne jedoch veröffentlicht zu werden. Laut einem aktuellen Bericht des Wall Street Journal haben Insider verraten, dass Orion zwar besser als die bestehenden Modelle von OpenAI abschneidet, die Fortschritte jedoch nicht ausreichen, um die enormen Kosten zu rechtfertigen. Besorgniserregender ist der Mangel an globalen Daten, der sich möglicherweise als größte Hürde für GPT-5 auf dem Weg zu höherer Intelligenz erweist.
Berichten zufolge wurde GPT-5 mindestens zweimal trainiert, wobei jedes Training neue Probleme aufwarf und die Erwartungen der Forscher nicht erfüllte. Jedes Training dauerte mehrere Monate und kostete allein an Rechenkosten 500 Millionen US-Dollar. Ob und wann dieses Projekt erfolgreich sein wird, ist derzeit unklar.
Ein steiniger Weg: Der Datenengpass zeigt sich
Nach der Veröffentlichung von GPT-4 im März 2023 begann OpenAI mit der Entwicklung von GPT-5. Normalerweise verbessert sich die Leistung eines KI-Modells mit der Menge der verarbeiteten Daten. Der Trainingsprozess benötigt riesige Datenmengen, dauert Monate und ist auf viele teure Rechenchips angewiesen. OpenAI-CEO Altman gab an, dass das Training von GPT-4 allein über 100 Millionen US-Dollar gekostet hat, und die Kosten für zukünftige KI-Modelle werden voraussichtlich über 1 Milliarde US-Dollar liegen.
Um Risiken zu minimieren, führt OpenAI in der Regel zunächst kleine Testläufe durch, um die Machbarkeit eines Modells zu überprüfen. Die Entwicklung von GPT-5 war jedoch von Anfang an mit Herausforderungen verbunden. Mitte 2023 startete OpenAI ein experimentelles Training namens „Arrakis“, um das neue Design von GPT-5 zu testen. Der Fortschritt war jedoch langsam und die Kosten hoch. Die Ergebnisse zeigten, dass die Entwicklung von GPT-5 komplexer und schwieriger ist als ursprünglich angenommen.
Daher beschloss das OpenAI-Forschungsteam, eine Reihe technischer Anpassungen an Orion vorzunehmen, und erkannte, dass die verfügbaren Daten aus dem öffentlichen Internet nicht mehr ausreichen. Um die Leistung von GPT-5 zu verbessern, benötigen sie dringend Daten in größerer Vielfalt und höherer Qualität.
„Daten von Grund auf neu erstellen“: Der Kampf gegen den Datenmangel
Um dem Datenmangel zu begegnen, beschloss OpenAI, „Daten von Grund auf neu zu erstellen“. Sie stellten Softwareentwickler und Mathematiker ein, die neuen Softwarecode schreiben oder mathematische Probleme lösen, damit Orion aus diesen Aufgaben lernen kann. OpenAI lässt diese Experten auch ihre Arbeitsprozesse erklären, um menschliches Wissen in maschinell verarbeitbares Wissen umzuwandeln.
Viele Forscher glauben, dass Code als Sprache der Software großen Modellen helfen kann, Probleme zu lösen, die sie noch nie zuvor gesehen haben. Jonathan Siddharth, CEO von Turing, sagte: „Wir übertragen menschliches Wissen vom menschlichen Gehirn auf das Maschinengehirn.“
OpenAI arbeitet sogar mit Experten aus Bereichen wie der theoretischen Physik zusammen, um sich von ihnen erklären zu lassen, wie man Probleme in ihren jeweiligen Fachgebieten löst. Diese Methode der „Daten von Grund auf neu Erstellung“ ist jedoch nicht sehr effizient. Die Trainingsdaten von GPT-4 umfassten etwa 13 Billionen Token. Selbst wenn 1000 Personen täglich 5000 Wörter schreiben würden, würde es Monate dauern, um 1 Milliarde Token zu produzieren.
Um das Training zu beschleunigen, versucht OpenAI auch, von KI generierte „synthetische Daten“ zu verwenden. Studien haben jedoch gezeigt, dass die Verwendung von KI-generierten Daten im Feedback-Kreislauf des KI-Trainings manchmal zu Fehlern im Modell oder zur Erzeugung sinnloser Antworten führen kann. OpenAI-Wissenschaftler glauben, dass die Verwendung von o1-generierten Daten diese Probleme vermeiden kann.
Innere und äußere Herausforderungen: OpenAI steht vor vielfältigen Problemen
OpenAI steht nicht nur vor technischen Herausforderungen, sondern auch vor internen Unruhen und dem Abwerben von Mitarbeitern durch Wettbewerber. Gleichzeitig steigt der Druck durch Technologie und Finanzen. Jedes Training kostet bis zu 500 Millionen US-Dollar, und die endgültigen Trainingskosten werden wahrscheinlich über 1 Milliarde US-Dollar liegen. Gleichzeitig bringen Wettbewerber wie Anthropic und Google neue Modellgenerationen auf den Markt und versuchen, OpenAI zu überholen.
Der Verlust von Talenten und interne Meinungsverschiedenheiten haben die Entwicklung zusätzlich verlangsamt. Im vergangenen Jahr entließ der OpenAI-Vorstand überraschend Altman, was einige Forscher dazu brachte, die Zukunft des Unternehmens in Frage zu stellen. Obwohl Altman schnell wieder zum CEO ernannt wurde und begann, die Unternehmensführung zu reformieren, sind seit Anfang des Jahres über 20 wichtige Führungskräfte, Forscher und langjährige Mitarbeiter, darunter Mitbegründer und Chefforscher Ilya Sutskever und Technologie-Chefin Mira Murati, ausgeschieden.
Mit dem Stillstand des Orion-Projekts begann OpenAI mit der Entwicklung anderer Projekte und Anwendungen, darunter eine vereinfachte Version von GPT-4 und das KI-Videogenerierungsprodukt Sora. Dies führte jedoch zu einem Kampf um begrenzte Rechenressourcen zwischen verschiedenen Teams, insbesondere zwischen den Teams für die Entwicklung neuer Produkte und dem Orion-Forschungsteam.
Engpass in der KI-Entwicklung? Die Branche muss tiefgründig nachdenken
Die Schwierigkeiten mit GPT-5 könnten ein größeres Problem der Branche aufzeigen: Ist die KI bereits an einen Entwicklungspunkt gelangt, der an eine Grenze stößt? Branchenexperten weisen darauf hin, dass die Strategie, sich auf riesige Datenmengen und größere Modelle zu verlassen, allmählich an ihre Grenzen stößt. Der ehemalige OpenAI-Wissenschaftler Sutskever sagte: „Wir haben nur ein Internet“, das Datenwachstum verlangsamt sich, und dieser „fossiler Brennstoff“, der den KI-Sprung antreibt, ist allmählich erschöpft.
Altman hat keinen klaren Zeitplan für die Zukunft von GPT-5 genannt. Wir wissen immer noch nicht, wann oder ob OpenAI ein Modell auf den Markt bringen wird, das den Namen GPT-5 verdient. Die Schwierigkeiten mit GPT-5 haben zu einer tiefgreifenden Reflexion über die zukünftige Entwicklung der KI geführt.
