La start-up d'IA Cognition a lancé son tout nouveau programmeur IA, « Genie », dont les performances sont tout simplement stupéfiantes. Il a instantanément surpassé Devin et GPT-4, devenant ainsi l'assistant de programmation IA le plus puissant au monde.
Sur la plateforme de test de référence SWE-Bench, ce programmeur IA a obtenu un score impressionnant de 30,08 %, dépassant largement les 13,8 % de Devin et les 12,47 % de Swe-agent + GPT-4.
Vous vous demandez peut-être comment Genie a réussi un tel exploit ? Déjà en décembre 2022, Alistair Pullen, co-fondateur de Genie, présentait ce projet à l’université de Londres. Son ambition : créer une IA capable de coder, de déboguer et d’optimiser automatiquement le code, comme le ferait un humain. Après plus d’un an de développement, Genie est enfin entré en phase de test et a reçu un financement de démarrage de 2,5 millions de dollars.
Alistair souligne que le succès de Genie est étroitement lié à ses données d’entraînement et à sa méthode. Contrairement à l’ajustement fin des grands modèles traditionnels, Genie utilise un jeu de données unique qui inclut le processus de raisonnement des programmeurs humains. Ces données englobent la découverte progressive des connaissances et le processus décisionnel basé sur des cas, permettant à Genie de faire preuve d’un jugement similaire à celui d’un ingénieur humain face à des problèmes complexes.
De plus, Genie utilise un mécanisme unique « d’auto-amélioration ». Initialement, Genie a été entraîné sur des données de haute qualité jusqu’à atteindre un état de « perfection ». Cependant, au cours de ce processus, Genie a montré des lacunes dans son jugement et son amélioration des erreurs. Pour surmonter ce problème, les développeurs ont utilisé Genie pour générer des données synthétiques, enrichissant ainsi davantage le contenu d’entraînement. C’est un peu comme une mère qui apprend à son enfant à marcher, en lui donnant les bonnes indications à chaque chute.
Après plusieurs itérations d’entraînement, les capacités de Genie se sont considérablement améliorées, et il est même capable de proposer des solutions créatives à des problèmes inédits. Sur le plan fonctionnel, Genie prend en charge de nombreuses tâches de développement, notamment le développement de fonctionnalités, la correction de bogues, la refactorisation de code, les tests de code, etc., couvrant des dizaines de langages de programmation tels que JavaScript, Python et Java.
Genie est désormais disponible en demande d’essai. Vous pouvez vous inscrire sur le site officiel. Les autorisations de test devraient être distribuées dans les prochaines semaines.
Blog officiel : https://cosine.sh/blog/state-of-the-art
Adresse d’essai : https://cosine.sh/register
Points clés :
🌟 Genie a obtenu un score de 30,08 % au test SWE-Bench, devenant ainsi le programmeur IA le plus puissant au monde.
🚀 L’utilisation d’un jeu de données unique et d’un mécanisme d’auto-amélioration permet à Genie d’exceller dans le codage complexe.
📝 Les demandes d’essai sont ouvertes, et de nouvelles fonctionnalités seront bientôt disponibles !