Das KI-Startup Cognition hat seinen neuen KI-Programmierer „Genie“ vorgestellt, dessen Leistung beeindruckend ist: Er übertrifft Devin und GPT-4 und ist damit der weltweit leistungsstärkste KI-Programmierassistent.
Auf der renommierten Testplattform SWE-Bench erzielte dieser KI-Programmierer einen erstaunlichen Score von 30,08 %, weit über den 13,8 % von Devin und den 12,47 % von Swe-agent+GPT-4.
Wie hat Genie das geschafft? Bereits im Dezember 2022 präsentierte Alistair Pullen, Mitbegründer von Genie, das Projekt an der Universität London. Sein Ziel war es, eine KI zu schaffen, die automatisch codieren, debuggen und optimieren kann – ganz wie ein Mensch. Nach über einem Jahr Entwicklung ist Genie nun in der Testphase und hat eine Seed-Finanzierung von 2,5 Millionen US-Dollar erhalten.
Alistair erwähnt, dass Genies Erfolg eng mit seinen Trainingsdaten und -methoden zusammenhängt. Im Gegensatz zum herkömmlichen Fine-Tuning großer Modelle verwendet Genie einen speziellen Datensatz, der den Denkprozess menschlicher Programmierer beinhaltet. Diese Daten umfassen die schrittweise Wissensfindung und fallbasierte Entscheidungsfindung, wodurch Genie bei komplexen Problemen ein ähnliches Urteilsvermögen wie ein menschlicher Ingenieur zeigt.
Darüber hinaus verwendet Genie einen einzigartigen „Selbstverbesserungsmechanismus“. Anfangs wurde Genie mit hochwertigen Daten trainiert, um einen „perfekten“ Zustand zu erreichen. Dabei zeigte sich jedoch, dass Genies Fähigkeit zur Selbstkritik und Verbesserung unzureichend war. Um dieses Problem zu lösen, verwendeten die Entwickler von Genie generierte synthetische Daten, um die Trainingsinhalte weiter zu bereichern. Das ist vergleichbar mit dem Unterrichten eines Kindes beim Laufenlernen: Nach jedem Sturz wird die richtige Anleitung gegeben.
Durch mehrfache iterative Trainings verbesserte sich Genies Fähigkeit erheblich, sodass es sogar kreative Lösungen für unbekannte Probleme findet. Funktional unterstützt Genie verschiedene Entwicklungsaufgaben, darunter Funktionsentwicklung, Fehlerbehebung, Code-Refactoring, Code-Tests usw. und umfasst Dutzende von Programmiersprachen wie JavaScript, Python und Java.
Genie kann jetzt getestet werden. Über die offizielle Website können Sie sich registrieren. Die Testzugänge werden voraussichtlich in den nächsten Wochen vergeben.
Offizieller Blog: https://cosine.sh/blog/state-of-the-art
Testversion: https://cosine.sh/register
Wichtigste Punkte:
🌟 Genie erzielte im SWE-Bench-Test einen Score von 30,08 % und ist damit der weltweit leistungsstärkste KI-Programmierer.
🚀 Durch spezielle Datensätze und einen Selbstverbesserungsmechanismus zeigt Genie hervorragende Leistungen bei komplexen Codieraufgaben.
📝 Die Testversion ist jetzt verfügbar. Weitere spannende Funktionen werden folgen!
