Les méthodes traditionnelles de réglage fin des grands modèles de langage (LLM) sont généralement gourmandes en calcul et statiques lorsqu'il s'agit de gérer des tâches diversifiées. Pour relever ces défis, Sakana AI a introduit un nouveau cadre adaptatif appelé Transformer². Transformer² peut ajuster en temps réel les poids du LLM pendant le processus d'inférence, lui permettant de s'adapter à diverses tâches inconnues avec la flexibilité d'une pieuvre.
Transformer² repose sur un mécanisme en deux étapes :
Première étape : un système d'ordonnancement analyse la requête de l'utilisateur et identifie les attributs de la tâche.
Deuxième étape : le système mélange dynamiquement plusieurs vecteurs « experts ». Ces vecteurs sont entraînés à l'aide de l'apprentissage par renforcement, chaque vecteur se concentrant sur un type de tâche spécifique, afin de générer un comportement de modèle personnalisé pour la tâche actuelle.
Cette méthode utilise moins de paramètres et est plus efficace que les méthodes de réglage fin traditionnelles (comme LoRA). Transformer² a démontré une forte adaptabilité dans différentes architectures de LLM et modalités (y compris les tâches de vision par le langage).
Technologies clés de Transformer²
Réglage fin des valeurs singulières (SVF) : il s'agit d'une nouvelle méthode de réglage fin efficace en termes de paramètres qui consiste à extraire et à ajuster les valeurs singulières de la matrice de poids du modèle. Cette méthode réduit le risque de sur-ajustement, diminue les besoins en calcul et permet une composition inhérente. En utilisant l'apprentissage par renforcement sur des ensembles de données restreints, il est possible d'obtenir un ensemble de vecteurs « experts » efficaces pour des domaines spécifiques, optimisant ainsi directement les performances des tâches pour chaque sujet.
Stratégies adaptatives : lors de l'étape d'inférence, Transformer² utilise trois stratégies adaptatives différentes pour combiner les vecteurs experts entraînés par SVF. Ces stratégies peuvent ajuster dynamiquement les poids du LLM en fonction des conditions de test, permettant ainsi une auto-adaptation.
Avantages de Transformer²
Adaptabilité dynamique : Transformer² peut évaluer et modifier son propre comportement en fonction des changements d'environnement opérationnel ou d'état interne, sans intervention externe.
Efficacité des paramètres : par rapport à des méthodes comme LoRA, SVF utilise moins de paramètres mais offre des performances supérieures.
Modularité : les vecteurs experts offrent une modularité, tandis que les stratégies adaptatives permettent d'identifier et de combiner dynamiquement les vecteurs les plus appropriés pour traiter la tâche d'entrée.
Optimisation par apprentissage par renforcement : grâce à l'apprentissage par renforcement, il est possible d'optimiser directement les performances des tâches, sans avoir recours à des procédures de réglage fin coûteuses et à des ensembles de données volumineux.
Compatibilité inter-modèles : les vecteurs experts SVF peuvent être transférés entre différents modèles LLM, grâce à leur structure ordonnée inhérente.
Résultats expérimentaux
Des expériences menées sur plusieurs LLM et tâches montrent que les performances de SVF sont constamment supérieures à celles des stratégies de réglage fin traditionnelles (comme LoRA).
Les stratégies adaptatives de Transformer² ont montré des améliorations significatives dans diverses tâches inconnues.
L'utilisation d'experts de classification pour la classification des tâches présente une précision de classification supérieure à celle de l'ingénierie des invites directe.
La contribution du coefficient d'adaptation (αk) n'est pas uniforme dans les différentes combinaisons de modèles et de tâches.
Perspectives d'avenir
Bien que Transformer² ait réalisé des progrès significatifs, il existe encore un potentiel d'amélioration. Les recherches futures pourraient explorer des techniques de fusion de modèles, combinant différents modèles spécialisés en un modèle plus puissant. De plus, il serait possible d'étudier comment étendre la méthode CEM pour faire face à davantage de domaines spécialisés.
En résumé, Transformer² représente un grand pas en avant dans le domaine des LLM adaptatifs, ouvrant la voie à la construction de systèmes d'IA véritablement dynamiques et auto-organisés.
Adresse de l'article : https://arxiv.org/pdf/2501.06252
