AI 竟然开始“长脑子”了?!麻省理工学院的最新研究表明，大型语言模型（LLM）的内部结构，竟然和人脑有着惊人的相似之处!
这项研究利用稀疏自编码器技术，对LLM的激活空间进行了深入分析，发现了三个层级的结构特征，令人惊叹:
首先，在微观层面上，研究人员发现了类似“晶体”结构的存在。这些“晶体”的面是由平行四边形或梯形构成，类似于我们熟知的词汇类比，例如“男人:女人::国王:女王”。
更令人惊讶的是，通过线性判别分析技术去除一些无关的干扰因素（如词语长度）后，这些“晶体”结构会变得更加清晰。
其次，在中观层面上，研究人员发现LLM的激活空间存在着类似人脑功能分区的模块化结构。
例如，与数学和代码相关的特征会聚集在一起，形成一个类似于人脑功能叶的“脑叶”。通过多种指标进行量化分析，研究人员证实了这些“脑叶”的空间局部性，表明共同出现的特征在空间上也更加聚集，远远超出了随机分布的预期。
在宏观层面上，研究人员发现LLM特征点云的整体结构并非各向同性，而是呈现出一种幂律特征值分布，并且这种分布在中间层最为明显。
研究人员还量化分析了不同层级的聚类熵，发现中间层的聚类熵较低，表明特征表示更加集中，而早期和晚期层的聚类熵较高，表明特征表示更加分散。
这项研究为我们理解大型语言模型的内部机制提供了全新的视角，也为未来开发更强大、更智能的AI系统奠定了基础。