Künstliche Intelligenz entwickelt scheinbar ein „Gehirn“?! Eine aktuelle Studie des Massachusetts Institute of Technology (MIT) zeigt erstaunliche Ähnlichkeiten zwischen der inneren Struktur großer Sprachmodelle (LLMs) und dem menschlichen Gehirn!
Die Studie analysierte mithilfe der Technik des spärlichen Autoencoders den Aktivierungsraum von LLMs und deckte drei Ebenen von Strukturmerkmalen auf, die verblüffen:
Erstens wurden auf mikroskopischer Ebene „kristallartige“ Strukturen entdeckt. Die Flächen dieser „Kristalle“ bestehen aus Parallelogrammen oder Trapezen und ähneln bekannten Wortanalogien wie „Mann:Frau::König:Königin“.
Noch überraschender ist, dass diese „Kristallstrukturen“ nach der Entfernung einiger irrelevanter Störfaktoren (z. B. Wortlänge) durch lineare Diskriminanzanalyse noch deutlicher werden.
Zweitens wurde auf mesoskopischer Ebene eine modularisierte Struktur im Aktivierungsraum des LLM entdeckt, die der funktionellen Aufteilung des menschlichen Gehirns ähnelt.
So gruppieren sich beispielsweise Merkmale im Zusammenhang mit Mathematik und Code und bilden einen „Hirnareale“, ähnlich den funktionellen Arealen des menschlichen Gehirns. Durch quantitative Analysen mit verschiedenen Kennzahlen bestätigten die Forscher die räumliche Lokalität dieser „Hirnareale“, wobei gemeinsam auftretende Merkmale räumlich stärker konzentriert sind als bei einer zufälligen Verteilung zu erwarten wäre.
Auf makroskopischer Ebene zeigte die Gesamtstruktur der LLM-Merkmalspunktwolke keine Isotropie, sondern eine Potenzgesetz-Eigenwertverteilung, die in den mittleren Schichten am deutlichsten ausgeprägt ist.
Die Forscher quantifizierten auch die Cluster-Entropie der verschiedenen Ebenen und stellten fest, dass die Cluster-Entropie der mittleren Schichten niedriger ist, was auf eine konzentriertere Merkmalsdarstellung hinweist, während die Cluster-Entropie der frühen und späten Schichten höher ist, was auf eine stärker verteilte Merkmalsdarstellung hindeutet.
Diese Studie bietet einen völlig neuen Blickwinkel auf die internen Mechanismen großer Sprachmodelle und legt den Grundstein für die Entwicklung leistungsfähigerer und intelligenterer KI-Systeme.