Alibaba Cloud lance le nouveau modèle d'inférence mathématique Qwen2.5-Math-PRM ; la version 7B surpasse GPT-4o

AIbase基地

Publié leActualités IA · 3 minutes de lecture · Jan 16, 2025

276

Aujourd'hui, l'équipe Tongyi d'Alibaba Cloud a officiellement lancé le nouveau modèle de récompense de processus de raisonnement mathématique Qwen2.5-Math-PRM. Ce modèle est disponible en deux tailles, 72B et 7B, et ses performances surpassent de manière significative celles des modèles de récompense de processus open source similaires, notamment en matière de détection des erreurs de raisonnement.

La version 7B de Qwen2.5-Math-PRM a étonnamment dépassé le très populaire GPT-4o, une réalisation qui marque une avancée majeure d'Alibaba Cloud dans le développement de modèles de raisonnement. Afin d'évaluer complètement les performances du modèle en raisonnement mathématique, l'équipe Tongyi a également publié le premier standard d'évaluation au niveau des étapes : ProcessBench. Ce standard d'évaluation comprend 3400 cas de test de problèmes mathématiques, incluant des problèmes de niveau compétition internationale des Olympiades mathématiques. Chaque cas a été annoté par des experts humains avec un processus de raisonnement détaillé, garantissant la scientificité et l'exhaustivité de l'évaluation.

L'évaluation des performances de Qwen2.5-Math-PRM sur ProcessBench a révélé que les modèles de taille 72B et 7B ont tous deux obtenu d'excellents résultats. En particulier, la version 7B a non seulement surpassé les modèles open source de même taille, mais a même dépassé GPT-4o-0806, un modèle propriétaire, sur certains aspects. Cela démontre l'énorme potentiel des modèles de récompense de processus (PRM) pour améliorer la fiabilité du raisonnement et ouvre de nouvelles perspectives pour le développement futur des techniques de supervision des processus de raisonnement.

Ce travail innovant de l'équipe Tongyi d'Alibaba Cloud a non seulement fait progresser les techniques de raisonnement en intelligence artificielle, mais a également fourni une précieuse référence aux autres développeurs du secteur. Grâce à l'open source, l'équipe Tongyi espère partager son expérience avec un plus grand nombre de chercheurs et contribuer au progrès technologique de l'ensemble du secteur.

L'équipe Qwen d'Alibaba publie un nouveau modèle de récompense de processus, faisant évoluer le raisonnement mathématique

L'équipe Qwen d'Alibaba a récemment publié un article intitulé « Leçons apprises sur le développement d'un modèle de récompense de processus pour le raisonnement mathématique » et a présenté deux nouveaux modèles de la série Qwen2.5-Math-PRM, avec 7B et 72B paramètres respectivement. Ces modèles dépassent les limites des frameworks PRM existants en matière de raisonnement mathématique, améliorant considérablement la précision et les capacités de généralisation des modèles de raisonnement grâce à des techniques innovantes. Le raisonnement mathématique représente un défi majeur pour les grands modèles de langage (LLM), en particulier dans les étapes intermédiaires du raisonnement, où des erreurs...

Alibaba lance PROCESSBENCH, un nouveau benchmark IA pour évaluer la capacité de détection d'erreurs dans le raisonnement mathématique

Les chercheurs de l'équipe Qwen d'Alibaba ont récemment lancé un nouveau benchmark appelé "PROCESSBENCH", conçu pour mesurer la capacité des modèles linguistiques à identifier les erreurs de procédure dans le raisonnement mathématique. Alors que les modèles linguistiques progressent de manière significative dans les tâches de raisonnement complexes, les chercheurs de ce domaine ont constaté que, malgré d'excellentes performances, ces modèles rencontrent encore des difficultés avec certains problèmes ardus. Par conséquent, le développement d'une méthode de supervision efficace est particulièrement important. Actuellement, les benchmarks d'évaluation pour les modèles linguistiques présentent certaines lacunes.

L'équipe de recherche d'Apple publie une nouvelle référence GSM-Symbolic : révélant les lacunes du raisonnement mathématique des grands modèles de langage !

Récemment, les chercheurs d'Apple ont mené une étude approfondie sur les capacités de raisonnement mathématique des grands modèles de langage (LLM), et ont présenté un nouveau benchmark nommé GSM-Symbolic. Ce nouveau benchmark est une évolution de GSM8K, principalement utilisé pour évaluer les compétences mathématiques de base. Bien que de nombreux LLM aient montré des améliorations sur GSM8K, la communauté scientifique reste sceptique quant aux capacités de raisonnement de ces modèles, estimant que les indicateurs d'évaluation actuels pourraient ne pas refléter pleinement leurs capacités réelles. L'étude révèle...

L'équipe de recherche sur l'IA d'Apple découvre une faiblesse dans le raisonnement des grands modèles : une seule phrase pour mettre KO OpenAI o1

Dans le monde de l'intelligence artificielle, la capacité de raisonnement des modèles d'apprentissage automatique, en particulier les grands modèles de langage (LLM), est un sujet de préoccupation constant pour les scientifiques. Récemment, l'équipe de recherche sur l'IA d'Apple a publié un article intitulé « Comprendre les limites des grands modèles de langage en matière de raisonnement mathématique », qui nous révèle les limites de ces modèles lorsqu'il s'agit de traiter des problèmes logiques. Dans l'article, les chercheurs illustrent ce point à l'aide d'un problème mathématique simple. Ils présentent d'abord un problème concernant Oliver qui cueille des kiwis : comme indiqué ci-dessous : Oliver a cueilli 44 kiwis le vendredi...