L'IA commence-t-elle à « développer un cerveau » ?! Une étude récente du MIT révèle que la structure interne des grands modèles linguistiques (LLM) présente des similitudes étonnantes avec le cerveau humain !
Cette étude utilise la technique des autoencodeurs parcimonieux pour analyser en profondeur l'espace d'activation des LLM, et a découvert trois niveaux de caractéristiques structurelles, absolument fascinants :
Premièrement, au niveau microscopique, les chercheurs ont découvert l'existence de structures semblables à des « cristaux ». Les faces de ces « cristaux » sont constituées de parallélogrammes ou de trapèzes, semblables aux analogies lexicales que nous connaissons bien, par exemple : « homme : femme :: roi : reine ».
Plus étonnant encore, après avoir éliminé certains facteurs de perturbation non pertinents (comme la longueur des mots) grâce à l'analyse discriminante linéaire, ces structures « cristallines » deviennent encore plus nettes.
Deuxièmement, au niveau mésoscopique, les chercheurs ont constaté que l'espace d'activation des LLM présente une structure modulaire similaire aux zones fonctionnelles du cerveau humain.
Par exemple, les caractéristiques liées aux mathématiques et au code se regroupent pour former un « lobe cérébral » similaire aux lobes fonctionnels du cerveau humain. Grâce à des analyses quantitatives basées sur plusieurs indicateurs, les chercheurs ont confirmé la localisation spatiale de ces « lobes cérébraux », montrant que les caractéristiques qui apparaissent ensemble sont également plus regroupées spatialement, dépassant de loin les attentes d'une distribution aléatoire.
Au niveau macroscopique, les chercheurs ont constaté que la structure globale du nuage de points des caractéristiques des LLM n'est pas isotrope, mais présente une distribution de valeurs propres suivant une loi de puissance, cette distribution étant la plus marquée dans les couches intermédiaires.
Les chercheurs ont également quantifié l'entropie de clustering des différents niveaux, constatant que l'entropie de clustering des couches intermédiaires est plus faible, ce qui indique une représentation des caractéristiques plus concentrée, tandis que l'entropie de clustering des couches précoces et tardives est plus élevée, ce qui indique une représentation des caractéristiques plus dispersée.
Cette étude offre un nouveau point de vue sur la compréhension des mécanismes internes des grands modèles linguistiques et jette les bases du développement futur de systèmes d'IA plus puissants et plus intelligents.
