A equipe do Tongyi Qianwen anunciou recentemente a disponibilização em código aberto de sua mais recente série completa de modelos Qwen2.5-Coder, uma iniciativa que visa impulsionar o desenvolvimento de LLMs de código aberto. O Qwen2.5-Coder chama a atenção por sua potência, versatilidade e praticidade.
O modelo Qwen2.5-Coder-32B-Instruct atingiu o nível SOTA em capacidade de codificação, comparável ao GPT-4o, demonstrando capacidades abrangentes, incluindo geração, reparação e raciocínio de código. Ele obteve o melhor desempenho em vários testes de referência de geração de código e alcançou uma pontuação de 73,7 no teste de referência Aider, equivalente ao GPT-4o.
O Qwen2.5-Coder suporta mais de 40 linguagens de programação e obteve uma pontuação de 65,9 no McEval, com destaque para linguagens como Haskell e Racket. Isso se deve à limpeza e proporção exclusivas de dados em sua fase de pré-treinamento. Além disso, o Qwen2.5-Coder-32B-Instruct também se destacou na capacidade de reparação de código em várias linguagens de programação, obtendo a pontuação máxima de 75,2 no teste de referência MdEval.
Para verificar o desempenho de alinhamento com as preferências humanas do Qwen2.5-Coder-32B-Instruct, foi criado um benchmark interno de avaliação de preferências de código, o Code Arena. Os resultados mostraram que o Qwen2.5-Coder-32B-Instruct possui vantagens em termos de alinhamento de preferências.
Nesta versão de código aberto, a série Qwen2.5-Coder inclui quatro modelos de diferentes tamanhos: 0.5B/3B/14B/32B, abrangendo os seis tamanhos de modelos principais e atendendo às necessidades de diferentes desenvolvedores. A versão oficial oferece modelos Base e Instruct; o primeiro serve como base para os desenvolvedores ajustarem os modelos, enquanto o segundo é um modelo de bate-papo alinhado oficialmente. Existe uma correlação positiva entre o tamanho do modelo e o desempenho, e o Qwen2.5-Coder obteve desempenho SOTA em todos os tamanhos.
Os modelos Qwen2.5-Coder 0.5B/1.5B/7B/14B/32B utilizam a licença Apache2.0, enquanto o modelo 3B utiliza a licença Research Only. A equipe validou a eficácia do Scaling em LLMs de código, avaliando o desempenho de diferentes tamanhos de Qwen2.5-Coder em todos os conjuntos de dados.
A disponibilização em código aberto do Qwen2.5-Coder oferece aos desenvolvedores uma opção de modelo de programação poderosa, versátil e prática, contribuindo para o desenvolvimento e aplicação de modelos de linguagem de programação.
Link para os modelos Qwen2.5-Coder:
https://modelscope.cn/collections/Qwen25-Coder-9d375446e8f5814a
