Une étude récente a démontré que, grâce à un entraînement spécifique, les modèles linguistiques peuvent partiellement développer une capacité de raisonnement multi-étapes plus efficace. Cette capacité est similaire à ce que le psychologue Daniel Kahneman décrit comme le « système 2 de raisonnement », c'est-à-dire un traitement de l'information lent et conscient.
Des chercheurs de Meta ont développé une nouvelle méthode permettant de « distiller » le processus de raisonnement multi-étapes, gourmand en calcul, en paramètres du modèle linguistique. Les résultats montrent que, dans certains cas, les modèles entraînés avec cette méthode peuvent atteindre des performances similaires à celles du processus multi-étapes original, mais avec un coût de calcul moindre.
Le principe de cette méthode de « distillation » est le suivant : appliquer d'abord une méthode de raisonnement multi-étapes à un grand nombre de données d'exemples, puis filtrer et conserver les résultats les plus cohérents, enfin utiliser ces données pour affiner l'entraînement du modèle linguistique. Essentiellement, cette méthode génère des données d'entraînement synthétiques, permettant au modèle linguistique d'arriver directement à la conclusion sans étapes intermédiaires.
Source : Image générée par IA, fournisseur de services d'autorisation d'images Midjourney
Les chercheurs ont appliqué cette méthode à quatre techniques de raisonnement multi-étapes différentes et à cinq types de tâches. Les résultats montrent que, dans de nombreux cas, cette méthode améliore efficacement les performances du modèle, mais elle n'est pas applicable à tous les scénarios.
Par exemple, pour des tâches telles que l'évitement des biais et l'amélioration de la qualité des réponses, les performances des modèles « distillés » sont comparables à celles des méthodes multi-étapes, mais les ressources de calcul nécessaires sont considérablement réduites. Cependant, cette méthode s'est avérée inefficace pour les tâches complexes de raisonnement mathématique. Les chercheurs supposent que certaines tâches sont peut-être trop complexes pour un raisonnement en une seule étape.
Néanmoins, les chercheurs estiment que cette méthode offre une voie prometteuse pour le développement de systèmes de traitement du langage plus puissants. À l'avenir, cette méthode pourrait être combinée à d'autres techniques pour se concentrer sur la résolution de problèmes véritablement difficiles.
Cette recherche ouvre de nouvelles voies pour améliorer les capacités de raisonnement des modèles linguistiques et promet des avancées dans de nombreux domaines d'application.