O Instituto de Inteligência Artificial de Pequim (Beijing Academy of Artificial Intelligence - BAAI) lançou o TACO, um conjunto de treinamento para geração de código, projetado para fornecer dados de treinamento e benchmarks mais desafiadores para modelos de geração de código.
O TACO apresenta vantagens em termos de escala de dados, qualidade e métodos de avaliação, incluindo um conjunto de treinamento e teste maior, respostas diversificadas para os problemas e rótulos granulares. Os resultados experimentais mostram que os modelos de geração de código populares atuais apresentam diferenças significativas em relação ao GPT-4 na avaliação do TACO, indicando que ainda há espaço para melhorias neste campo.
O TACO não é apenas um método de teste desafiador, mas também pode ser usado como dados de treinamento para melhorar o desempenho do modelo e promover o desenvolvimento do campo de geração de código.
