El Instituto de Investigación de Inteligencia Artificial (智源研究院) ha publicado un conjunto de datos de entrenamiento para la generación de código llamado TACO, con el objetivo de proporcionar datos de entrenamiento y un benchmark más desafiantes para los modelos de generación de código. TACO presenta ventajas en cuanto a escala de datos, calidad y métodos de evaluación, incluyendo un conjunto de entrenamiento y prueba de mayor tamaño, respuestas diversificadas a los problemas y etiquetas de grano fino.
Los resultados experimentales muestran una diferencia significativa entre los modelos de generación de código populares actuales y GPT-4 en la evaluación TACO, lo que indica que aún existe margen de mejora en este campo. TACO no solo sirve como un método de prueba desafiante, sino que también puede utilizarse como datos de entrenamiento para mejorar el rendimiento del modelo y promover el desarrollo del campo de la generación de código.
