智源研究院、コード生成トレーニングデータセットTACOを発表

智源研究院は、コード生成モデルのためのより挑戦的なトレーニングデータと評価基準を提供することを目的とした、TACOという名前のコード生成トレーニングデータセットを発表しました。

TACOは、データ規模、品質、評価方法において優れており、大規模なトレーニングセットとテストセット、多様な解答、そして詳細なラベルが含まれています。

実験結果によると、現在広く使われているコード生成モデルは、TACO評価においてGPT-4と顕著な差があることが示され、この分野には依然として改善の余地があることが分かりました。

TACOは、挑戦的なテスト方法であるだけでなく、モデル性能を向上させるためのトレーニングデータとしても使用でき、コード生成分野の発展に貢献します。