L'Institut de Recherche sur l'Intelligence Artificielle (IRIA) a publié TACO, un nouvel ensemble de données d'entraînement pour la génération de code, conçu pour offrir aux modèles de génération de code des données d'entraînement plus stimulantes et des benchmarks plus rigoureux. TACO se distingue par la taille et la qualité de ses données, ainsi que par son approche d'évaluation. Il propose un ensemble d'entraînement et un ensemble de test plus importants, une variété de solutions pour chaque problème et des étiquettes plus granulaires.
Les résultats expérimentaux montrent un écart significatif entre les performances des modèles de génération de code actuels et celles de GPT-4 sur les évaluations TACO, soulignant ainsi le potentiel d'amélioration dans ce domaine. TACO n'est pas seulement une méthode d'évaluation exigeante, mais sert également de données d'entraînement pour améliorer les performances des modèles et stimuler le développement du domaine de la génération de code.