À l'ère de l'explosion de l'information, nous interagissons quotidiennement avec des appareils intelligents. Avez-vous déjà réfléchi à la manière dont ces machines, apparemment intelligentes, savent que « s'il pleut, il faut prendre un parapluie » ? Derrière cela se cache une profonde révolution concernant le raisonnement causal.
Une équipe de chercheurs issus d'institutions académiques de renom, telles que Microsoft et le MIT, ont développé une stratégie révolutionnaire d'entraînement de l'apprentissage automatique. Cette stratégie non seulement surmonte les lacunes des grands modèles d'apprentissage automatique en matière de raisonnement logique, mais permet également des progrès significatifs grâce aux étapes suivantes :
Méthode d'entraînement unique : Les chercheurs ont utilisé une nouvelle méthode d'entraînement, qui pourrait différer des techniques d'entraînement classiques de l'apprentissage automatique.
Amélioration du raisonnement logique : Leur méthode améliore considérablement les capacités de raisonnement logique des grands modèles, résolvant ainsi les défis précédents.
Utilisation de relations causales pour construire l'ensemble de données d'entraînement : L'équipe de recherche a utilisé des modèles de relations causales pour construire l'ensemble de données d'entraînement. Ces modèles permettent de révéler les liens de causalité entre les variables, contribuant ainsi à entraîner des modèles capables de comprendre la logique causale sous-jacente aux données.
Enseignement d'axiomes fondamentaux au modèle : Ils ont directement enseigné au modèle des prémisses fondamentales de la logique et des mathématiques, aidant le modèle à mieux raisonner logiquement.
Performances étonnantes d'un petit modèle Transformer : Bien que le modèle ne compte que 67 millions de paramètres, le modèle Transformer entraîné avec cette méthode atteint des performances de raisonnement comparables à celles de GPT-4.
Le raisonnement causal, qui semble être l'apanage des philosophes, est en réalité omniprésent dans nos vies. Pour l'intelligence artificielle, maîtriser le raisonnement causal, c'est apprendre à expliquer le monde à l'aide de « parce que... donc... ». Mais l'IA n'est pas née avec cette capacité ; elle doit apprendre, et ce processus d'apprentissage est le sujet de cet article.
Méthode d'entraînement axiomatique :
Imaginez un élève très intelligent, mais ignorant des relations causales du monde. Comment l'enseigner ? Les chercheurs ont trouvé une solution : l'entraînement axiomatique. C'est comme donner à l'IA un « manuel des relations causales », lui permettant d'apprendre à identifier et à appliquer les règles causales.
Les chercheurs ont mené des expériences avec des modèles de transformateurs, et ont constaté que cette méthode d'entraînement était efficace ! L'IA a non seulement appris à identifier les relations causales sur des graphes de petite taille, mais elle a également pu appliquer ces connaissances à des graphes plus grands, même si elle ne les avait jamais rencontrés auparavant.
La contribution de cette recherche réside dans le fait qu'elle propose une nouvelle méthode permettant à l'IA d'apprendre le raisonnement causal à partir de données passives. C'est comme donner à l'IA une nouvelle façon de « penser », lui permettant de mieux comprendre et d'expliquer le monde.
Cette recherche nous montre non seulement la possibilité pour l'IA d'apprendre le raisonnement causal, mais elle nous ouvre également une porte sur les futures applications possibles de l'IA. Peut-être que dans un avenir proche, nos assistants intelligents pourront non seulement répondre à des questions, mais aussi nous expliquer pourquoi les choses se produisent.
Adresse de l'article : https://arxiv.org/pdf/2407.07612v1