Kürzlich veröffentlichte OpenAI eine Studie zu seinem neuesten Inferenzmodell o3, die zeigt, wie große Sprachmodelle (LLMs) von Anfängern im Programmierwettbewerb zu weltweit führenden Wettbewerbern heranwachsen können. o3 erreichte auf der bekannten Programmierplattform CodeForces einen Score von 2724 und liegt damit im 99,8. Perzentil, eine bemerkenswerte Leistung. Bei der Internationalen Informatikolympiade (IOI) 2024 erzielte es sogar ein Ergebnis auf Goldmedaillenniveau.
Bildquelle: Das Bild wurde mit KI generiert, Bildrechte liegen bei Midjourney.
Die Studie zeigt, dass das o3-Modell die speziell für diesen Wettbewerb feinabgestimmten o1-ioi-Modelle bei der IOI übertraf. Dieses Ergebnis deutet darauf hin, dass durch Reinforcement Learning erzielte Fortschritte handgefertigten Lösungen überlegen sind. Bei der IOI 2024 trat o3 unter Standardbedingungen an und übertraf erfolgreich die Goldmedaillengrenze. Gleichzeitig gehört es auf CodeForces zu den Top 200 Programmierern weltweit und kann mit den besten menschlichen Programmierern mithalten.
Ethan Mollick, außerordentlicher Professor an der Wharton School, sagte: „Durch Reinforcement Learning entwickelte allgemeine Inferenzfähigkeiten übertreffen nun sorgfältig entwickelte domänenspezifische Lösungen. Anstatt spezielle Systeme für bestimmte Aufgaben zu entwickeln, können leistungsfähigere Inferenzfähigkeiten in großen, universellen Modellen zu besseren Ergebnissen führen.“
Diese Studie ist Teil der Bewertung von OpenAI zur Leistung seiner Modelle im Bereich des kompetitiven Programmierens und der Softwareentwicklung im Allgemeinen. Ein weiterer Bericht über die Auswirkungen von KI am Arbeitsplatz wurde am Montag von Anthropic veröffentlicht. Der Bericht besagt, dass in etwa 36 % der Berufe KI in mindestens 25 % der Arbeitsaufgaben eingesetzt wird, wobei 57 % der KI-Anwendungen die menschlichen Fähigkeiten verbessern und 43 % auf Automatisierung ausgerichtet sind. Allerdings wird KI nur in 4 % der Berufe für mindestens 75 % der Arbeitsaufgaben eingesetzt.
Die Studie zeigt auch, dass Softwareentwicklung und technisches Schreiben die Hauptanwendungsgebiete von KI sind, während die Rolle der KI bei Aufgaben mit physischer Interaktion mit der Umwelt relativ gering ist.
Wichtigste Punkte:
💻 Das o3-Modell erreichte einen Score von 2724 auf CodeForces, liegt im 99,8. Perzentil und gewann eine Goldmedaille bei der Internationalen Informatikolympiade.
📊 Reinforcement Learning übertrifft traditionelle, handgefertigte Lösungen und zeigt die Vorteile allgemeiner Inferenzfähigkeiten.
📈 KI wird in vielen Bereichen der Arbeitswelt eingesetzt, wobei Softwareentwicklung und technisches Schreiben die Hauptanwendungsgebiete sind, während die Anwendung bei Aufgaben mit physischer Interaktion geringer ist.
