AIが「脳」を持つようになった?! マサチューセッツ工科大学（MIT）の最新研究によると、大規模言語モデル（LLM）の内部構造が、人間の脳と驚くほど似ていることが判明しました!
この研究では、スパース自己符号化器技術を用いてLLMの活性化空間を詳細に分析し、3つの階層構造の特徴を発見しました。
まず、ミクロレベルでは、「結晶」のような構造の存在が確認されました。これらの「結晶」の面は平行四辺形や台形で構成されており、「男：女::王：女王」のような単語の類推に似ています。
さらに驚くべきことに、線形判別分析技術を用いて単語の長さなどの無関係なノイズを除去すると、これらの「結晶」構造がより鮮明になります。
次に、メゾレベルでは、LLMの活性化空間に、人間の脳の機能分化に似たモジュール構造が存在することが分かりました。
例えば、数学やコードに関連する特徴は互いに集まって、人間の脳の機能領域のような「脳葉」を形成します。様々な指標による定量分析を通じて、研究者らはこれらの「脳葉」の空間的局所性を確認し、共起する特徴は空間的にもより集中しており、ランダム分布をはるかに上回っていることを示しました。
マクロレベルでは、LLM特徴点群の全体構造は等方的ではなく、べき乗則的な固有値分布を示し、この分布は中間層で最も顕著です。
研究者らは、様々なレベルのクラスタリングエントロピーを定量的に分析し、中間層のクラスタリングエントロピーが低く、特徴表現がより集中している一方、初期層と後期層のクラスタリングエントロピーは高く、特徴表現がより分散していることを発見しました。
この研究は、大規模言語モデルの内部メカニズムを理解するための全く新しい視点を与え、より強力で知的なAIシステムの開発の基礎を築くものです。
