¡La IA está empezando a "desarrollar cerebro"! Una investigación reciente del MIT revela que la estructura interna de los grandes modelos lingüísticos (LLM) presenta una asombrosa similitud con el cerebro humano.
Este estudio, utilizando la técnica de autocodificadores dispersos, analizó en profundidad el espacio de activación de los LLM, descubriendo tres niveles de características estructurales sorprendentes:
Primero, a nivel microscópico, los investigadores encontraron estructuras similares a "cristales". Las caras de estos "cristales" están formadas por paralelogramos o trapecios, similares a las analogías de palabras que conocemos, como "hombre:mujer::rey:reina".
Más sorprendente aún, después de eliminar algunos factores de interferencia irrelevantes (como la longitud de las palabras) mediante el análisis discriminante lineal, estas estructuras "cristalinas" se vuelven más claras.
Segundo, a nivel mesoscópico, los investigadores descubrieron una estructura modular en el espacio de activación del LLM, similar a la división funcional del cerebro humano.
Por ejemplo, las características relacionadas con las matemáticas y el código se agrupan juntas, formando un "lóbulo cerebral" similar a los lóbulos funcionales del cerebro humano. A través de múltiples indicadores de análisis cuantitativo, los investigadores confirmaron la localidad espacial de estos "lóbulos cerebrales", mostrando que las características que aparecen juntas también están más agrupadas espacialmente, mucho más allá de lo que se esperaría de una distribución aleatoria.
A nivel macroscópico, los investigadores encontraron que la estructura general de la nube de puntos de características del LLM no es isotrópica, sino que presenta una distribución de valores propios de ley de potencias, y esta distribución es más evidente en las capas intermedias.
Los investigadores también analizaron cuantitativamente la entropía de agrupación de los diferentes niveles, encontrando que la entropía de agrupación de las capas intermedias es menor, lo que indica una representación de características más concentrada, mientras que la entropía de agrupación de las capas temprana y tardía es mayor, lo que indica una representación de características más dispersa.
Esta investigación proporciona una nueva perspectiva para comprender los mecanismos internos de los grandes modelos lingüísticos y sienta las bases para el desarrollo futuro de sistemas de IA más potentes e inteligentes.
