Alibaba Cloud lança novo modelo de raciocínio matemático Qwen2.5-Math-PRM; versão de 7B supera o GPT-4o

AIbase基地

Publicado emNotícias e Informações de IA · 3 minutos de leitura · Jan 16, 2025

276

Hoje, a equipe Alibaba Cloud Tongyi lançou oficialmente o novo modelo de recompensa de processo de raciocínio matemático Qwen2.5-Math-PRM. Este modelo está disponível em dois tamanhos, 72B e 7B, e seu desempenho supera significativamente os modelos de recompensa de processo de código aberto similares, especialmente na identificação de erros de raciocínio.

A versão 7B do Qwen2.5-Math-PRM surpreendentemente superou o popular GPT-4o da indústria, um feito que marca um passo importante da Alibaba Cloud no desenvolvimento de modelos de raciocínio. Para avaliar completamente o desempenho do modelo em raciocínio matemático, a equipe Tongyi também lançou o primeiro padrão de avaliação em nível de etapas - ProcessBench. Este padrão de avaliação inclui 3400 casos de teste de problemas matemáticos, incluindo problemas com a dificuldade da Olimpíada Internacional de Matemática. Cada caso foi anotado detalhadamente por especialistas humanos, garantindo a cientificidade e a abrangência da avaliação.

Através da avaliação do desempenho do Qwen2.5-Math-PRM no ProcessBench, a equipe de pesquisa descobriu que os modelos de tamanho 72B e 7B apresentaram excelente desempenho. Em particular, a versão 7B não apenas superou os modelos de código aberto do mesmo tamanho, mas também superou o GPT-4o-0806 fechado em alguns aspectos. Isso demonstra o enorme potencial dos modelos de recompensa de processo (PRM) em melhorar a confiabilidade do raciocínio e fornece novas ideias para o desenvolvimento futuro de tecnologias de supervisão de processo de raciocínio.

Este trabalho inovador da equipe Alibaba Cloud Tongyi não apenas impulsiona o progresso da tecnologia de raciocínio de inteligência artificial, mas também fornece uma referência valiosa para outros desenvolvedores do setor. Através do código aberto, a equipe Tongyi espera compartilhar experiências com mais pesquisadores e impulsionar o progresso tecnológico de todo o setor.

Equipe Qwen da Alibaba lança novo modelo de recompensa de processo, evoluindo o raciocínio matemático

A equipe Qwen da Alibaba publicou recentemente um artigo intitulado "Lições aprendidas no desenvolvimento de modelos de recompensa de processo em raciocínio matemático" e lançou dois novos modelos na série Qwen2.5-Math-PRM, com 7B e 72B de parâmetros, respectivamente. Esses modelos superaram as limitações das estruturas PRM existentes em raciocínio matemático, utilizando técnicas inovadoras para melhorar significativamente a precisão e a capacidade de generalização dos modelos de raciocínio. O raciocínio matemático tem sido um grande desafio para os grandes modelos de linguagem (LLM), especialmente em passos de raciocínio intermediários, onde erros...

Alibaba lança novo benchmark de IA, "PROCESSBENCH", para avaliar a capacidade de identificar erros em raciocínio matemático

Recentemente, pesquisadores da equipe Qwen da Alibaba lançaram um novo benchmark chamado "PROCESSBENCH", projetado para medir a capacidade dos modelos de linguagem em identificar erros de processo em raciocínio matemático. Com o progresso significativo dos modelos de linguagem em tarefas de raciocínio complexo, pesquisadores nessa área descobriram que, apesar do excelente desempenho dos modelos, eles ainda enfrentam desafios ao lidar com alguns problemas difíceis. Portanto, o desenvolvimento de um método de supervisão eficaz é crucial. Atualmente, os benchmarks de avaliação para modelos de linguagem apresentam algumas deficiências. Por um lado,

Kimi lança modelo de raciocínio matemático k0-math: habilidades matemáticas comparáveis à série OpenAI o1

A Kimi, o Assistente Inteligente da Lua Escura, anunciou o lançamento de seu novo modelo de raciocínio matemático, o k0-math. O modelo k0-math demonstrou desempenho excepcional em diversos testes de referência de habilidades matemáticas, superando os modelos o1-mini e o1-preview da série OpenAI o1 em quatro testes de referência: exames de nível médio, exames de nível superior, exames de pós-graduação e o MATH, que inclui problemas de competições introdutórias.

Equipe de pesquisa da Apple lança novo benchmark GSM-Symbolic: revelando as deficiências no raciocínio matemático de grandes modelos de linguagem!

Recentemente, pesquisadores da Apple conduziram um estudo aprofundado sobre a capacidade de raciocínio matemático de grandes modelos de linguagem (LLMs), lançando um novo benchmark chamado GSM-Symbolic. Este novo benchmark foi desenvolvido com base no GSM8K, que é usado principalmente para avaliar habilidades matemáticas básicas. Embora muitos LLMs tenham mostrado melhorias no GSM8K, a comunidade científica ainda tem dúvidas sobre a capacidade de raciocínio desses modelos, acreditando que os indicadores de avaliação existentes podem não refletir totalmente suas capacidades reais. A pesquisa revela...