Das Institut für Künstliche Intelligenz (AI) hat einen neuen Trainingsdatensatz für die Codegenerierung namens TACO veröffentlicht. Dieser soll Codegenerierungsmodellen herausforderndere Trainingsdaten und Benchmarks bieten. TACO zeichnet sich durch seine Datenmenge, Qualität und Bewertungsmethoden aus, darunter größere Trainings- und Testdatensätze, diverse Lösungsansätze und detaillierte Labels. Experimentelle Ergebnisse zeigen signifikante Unterschiede zwischen aktuellen Codegenerierungsmodellen und GPT-4 in der TACO-Bewertung, was darauf hindeutet, dass in diesem Bereich noch Verbesserungspotential besteht. TACO...