数字生命
大型语言模型(LLM)内部结构与人类大脑分区机制之间存在惊人相似
11/7/2024

麻省理工学院(MIT)的Max Tegmark团队最近发布了一项突破性的研究,该研究揭示了大型语言模型(LLM)内部结构与人类大脑的分区机制之间存在着惊人的相似性。这项研究通过深入分析稀疏自编码器(SAE)在不同空间尺度下的特征,揭示了模型内部的几何结构与人类大脑的功能分区之间的类比关系,具体涉及原子、大脑和星系三个层面的知识结构。

在原子层面,LLM的特征呈现出类似晶体的结构,这种结构映射了概念间的语义联系。研究者通过线性判别分析(LDA)技术有效地排除了全局干扰,显著提高了特征向量的质量。这种微观结构不仅揭示了概念间的紧密联系,而且似乎模拟了人类大脑最基础的思维过程。

在宏观层面,研究者观察到LLM的特征在结构上表现出模块化,形成了类似于人类大脑“脑叶”的空间分区。通过对SAE特征进行聚类分析,研究团队发现这些功能模块能够根据激活情况在空间上自我组织。例如,他们将数学和编程相关特征归为一个“脑叶”,这与人类大脑中负责语言和认知的区域的功能划分有着惊人的相似之处。这一发现表明,AI在模仿人类大脑信息处理方式方面迈出了重要的一步。

在星系尺度的分析中,LLM中点云的分布显示出明显的非均匀性,特征点云的聚类熵揭示了中间层的重要性。这意味着不同层次的学习信息对于提升模型性能至关重要。研究者认为,这可能意味着模型通过这些层次实现了有效的知识压缩,类似于大脑在信息处理中的灵活性和效率。

这项研究不仅在技术上具有创新性,而且在理解人工智能与人类大脑相似性方面迈出了重要一步。它提供了一个框架,让我们能够更深入地理解AI的工作原理,并可能为未来的AI数字生命设计提供灵感。通过比较和对比LLM与人类大脑的结构和功能,我们能够更好地把握AI的潜力和局限性,这对于AI的未来发展至关重要。