A IA começou a "desenvolver um cérebro"! Uma pesquisa recente do MIT revela que a estrutura interna dos grandes modelos de linguagem (LLMs) apresenta semelhanças surpreendentes com o cérebro humano!
O estudo utilizou a técnica de autoencoders esparsos para analisar profundamente o espaço de ativação dos LLMs, descobrindo três níveis de características estruturais, impressionantes:
Primeiro, em nível microscópico, os pesquisadores descobriram estruturas semelhantes a "cristais". As faces desses "cristais" são formadas por paralelogramos ou trapézios, semelhantes às analogias lexicais que conhecemos, como "homem:mulher::rei:rainha".
Mais surpreendente ainda, após a remoção de alguns fatores de interferência irrelevantes (como o comprimento das palavras) usando a técnica de análise discriminante linear, essas estruturas "cristalinas" se tornam ainda mais claras.
Em segundo lugar, em nível mesoscópico, os pesquisadores descobriram que o espaço de ativação dos LLMs apresenta uma estrutura modular semelhante à divisão funcional do cérebro humano.
Por exemplo, características relacionadas a matemática e código se agrupam, formando um "lobo cerebral" semelhante aos lobos funcionais do cérebro humano. Através de análises quantitativas com múltiplos indicadores, os pesquisadores confirmaram a localização espacial desses "lobos cerebrais", mostrando que características que ocorrem juntas também estão mais agrupadas espacialmente, muito além do esperado em uma distribuição aleatória.
Em nível macroscópico, os pesquisadores descobriram que a estrutura geral da nuvem de pontos de características dos LLMs não é isotrópica, mas apresenta uma distribuição de autovalores de lei de potência, sendo essa distribuição mais evidente nas camadas intermediárias.
Os pesquisadores também analisaram quantitativamente a entropia de agrupamento em diferentes níveis, descobrindo que a entropia de agrupamento das camadas intermediárias é menor, indicando uma representação de características mais concentrada, enquanto as camadas iniciais e finais apresentam maior entropia de agrupamento, indicando uma representação de características mais dispersa.
Esta pesquisa oferece uma perspectiva totalmente nova para a compreensão dos mecanismos internos dos grandes modelos de linguagem, e também estabelece uma base para o desenvolvimento futuro de sistemas de IA mais poderosos e inteligentes.
