An der University of Pennsylvania arbeitet Mathematikprofessor Robert Ghrist mit einem KI-Modell namens GPT-o1-mini an einer interessanten „intellektuellen Auseinandersetzung“. Bei dem Versuch, eine komplexere Verallgemeinerung des Flaschenhals-Dualitätssatzes herzuleiten, erlebte der Professor unzählige Wechsel zwischen Optimismus und Frustration.
Ghrist hatte zuvor verschiedene bekannte KI-Modelle verwendet, darunter GPT-4, Claude-3.5 und Gemini-1.5-Pro. Obwohl diese Modelle einige Hypothesen aufstellen und Beweise liefern konnten, scheiterten sie oft an subtilen Fehlern, was Ghrist ziemlich frustrierte. Schließlich gelang ihm mit dem GPT-o1-mini-Modell von OpenAI der Durchbruch. Dieses Modell analysierte nicht nur einen fehlerhaften Beweis, fand den Fehler, sondern generierte innerhalb von nur 43 Sekunden einen „neuen und raffinierten, korrekten Beweis“, der sogar eleganter war als die menschliche Version.
Bildquelle: Das Bild wurde von KI generiert, Bildrechte liegen bei Midjourney.
GPT-o1-mini zeigte bei logischen Aufgaben eine hervorragende Leistung und verwendete die Technik des Ketten-Denkens. Obwohl es in Benchmark-Tests für Logik und Planung traditionelle Sprachmodelle übertraf, besteht immer noch die Möglichkeit von Fehlern. Ghrist fasst seine Erfahrung so zusammen: „Das Ergebnis lag genau an der Grenze dessen, was ein großes Sprachmodell (LLM) beweisen kann.“ Er erklärt, dass die Identifizierung der Fehlermuster des Modells der Schlüssel zu diesem Experiment war.
Trotz des Erfolgs räumt Ghrist ein, dass die Verwendung von KI nicht unbedingt schneller war als die alleinige Eigenarbeit. Er sagte sogar, dass die endgültige Arbeit dank der Unterstützung dieser Modelle sogar besser wurde. Seine Arbeit enthält einen Anhang, der detailliert die Rolle des KI-Modells im Ergebnis beschreibt.
Doch nicht alles lief reibungslos. Kurz nach der Veröffentlichung der Arbeit wies ein anderer Mathematiker, Sridhar Ramesh, in den sozialen Medien darauf hin, dass der Beweis mit einem Satz von Birkhoff leicht hätte gelöst werden können, was Ghrist überraschte. Er räumte humorvoll ein: „Der Mensch hat gewonnen…“ Die Zusammenarbeit mit KI brachte zwar Ergebnisse, aber sie zeigte ihm auch, dass manchmal die menschliche Intelligenz die effektivste Lösung ist.