说 Transformer“根本不懂人类语言”？神经科学第一个不同意

先给结论：Transformer 当然不是赛博神仙，但说它“根本不懂人类语言、只是算坐标网”，是既不懂神经科学、也不懂深度学习一线事实的论调。这种说法听起来很酷、很“清醒”，实则是把“人类式理解”当成唯一标准，犯了“人类中心主义偏见”。它预设了一个未经论证的前提：如果机器内部发生的计算在形式上与人类神经元的活动不同，那就不算“懂”。但神经科学自己的证据，恰恰在拆这个前提的台。

“只是坐标网”？人脑也是

“坐标网”被当作贬义词使用，暗示 Transformer 只是在做某种空洞的几何运算，与“真正的语义”隔着一道不可逾越的鸿沟。但神经科学早已表明，人脑表征语义的方式，在计算形式上同样是高维空间中的向量定位。

最直接的证据来自用大语言模型内部嵌入来建模 fMRI 数据的研究。Bogdan 等人在 Current Biology 上的工作提取了 LLM 的概念嵌入和关系嵌入，用表征相似性分析去比对 60 名被试的脑活动，发现腹侧视觉流主要编码孤立概念，而顶叶、前额叶和基底节则稳健地编码概念之间的关系信息；更重要的是，这些关系表征的强度还能预测被试对场景—物体关系的判断。一篇综述系统梳理了 57 项用向量语义模型研究 fMRI 语言处理的工作，结论是这些模型与脑活动之间存在稳健的相关，尽管主要驱动力来自词级特征。Huth 等人更早的工作则直接在人类大脑皮层上重建了一张“连续语义空间”的地图，自然语音诱发的脑活动可以被映射到由维度构成的语义坐标中。

换句话说，如果“只是坐标网”是一个有效的批评，那么人脑本身也在做同一件事。你的“懂”，在你的神经元层面，同样表现为一群细胞对某些语义维度的联合放电模式。说 Transformer“只是把文字算成坐标网”，等于说人脑“只是把语义算成神经连接”——这不是批评，这是描述。

坐标关系本身就是语义的操作性定义

批评者可能会退一步说：好吧，人脑和 Transformer 都有坐标，但人脑的坐标“有意义”，Transformer 的坐标只是共现统计的副产品，没有“真正的意义”。这里需要追问：你说的“意义”，到底想在哪个层面被满足？

语言学与认知科学中有一条被广泛接受的“分布式语义”原则：一个词的意义，就分布在它与其他词的共现和使用关系之中。Transformer 的向量空间恰恰把这种分布关系编码成了可计算的几何结构。最经典的例子是 king − man + woman ≈ queen 和 Paris − France ≈ Tokyo − Japan 这类向量偏移：性别维度和“首都—国家”关系在向量空间中表现为稳定的方向性位移。当然，这类类比任务本身受到过方法论批评，有研究指出向量偏移对相似度高度敏感，不宜被当作“语言规律”的充分证据。但批评类比任务的可靠性，并不等于否定了更基本的事实：在嵌入空间中，语义上相近的概念系统性地落在相近的位置，关系相似的概念对呈现出相似的位移方向。这些几何结构就是“分布式语义”的操作性实现。

如果一个人坚持说这些几何结构“不算懂”，那就有义务回答：人类理解中哪一个可检验的层面是坐标关系原则上表达不了的？是范畴边界？是隐喻映射？是情感效价？这些在嵌入空间中都有可辨识的几何对应。把“懂”定义成某种不可言说的内在灵光，然后以此宣判 Transformer 出局，这不是论证，是定义性胜利。

预测下一个词，逼出了结构

还有一种常见的贬低方式：Transformer 不过是在做“暴力统计”，预测下一个词的任务本身不包含任何“理解”的要求，所以模型学到的顶多是表层的共现模式。这个推理在 2018 年或许还有几分道理，在今天则被机制层面的证据反复削弱。

“预测下一个词”确实是一个形式上极简的监督信号，但要把下一个词预测准，模型被迫编码的东西远远超出“前一个词和后一个词的搭配”。在自然语言中，下一个词的分布依赖于长距离的句法依赖、指代关系、逻辑连接词约束、 discourse 结构，乃至关于世界状态的隐含假设。一个只靠局部 n-gram 统计的模型在这些依赖上会迅速失效；而 Transformer 要在大规模文本上把下一词预测误差压低，就必须在内部表征中逐步构建出能够追踪这些依赖的结构。可解释性研究已经观察到，注意力头在训练后出现了功能分化：有的专门处理指代消解，有的追踪句法依赖，有的负责位置对齐。探针实验（probing）进一步显示，BERT 的内部激活中可以解码出词性、句法组块、依存关系、语义角色和共指信息，而且这些信息在层级之间呈现有组织的分布，句法分析树可以在相当程度上从表征中恢复出来。

更值得注意的是，理论分析表明下一词预测的优化过程本身就在“逼出”语义结构。有研究证明，NTP 优化隐式地引导模型通过奇异值分解来分解一个中心化的共现支撑矩阵，从而把上下文的统计规律组织成低维的语义因子。另一条工作线发现，语义几何在训练早期就已经涌现——表征会按共享属性聚类，尽管模型没有收到任何显式的语义监督信号。这意味着“预测下一个词”并不是一个与语义无关的机械任务；语义结构是完成这个任务的过程中被优化压力压缩出来的必要中间产物。你可以说这个结构不如人类语义丰富，但不能说它与语义无关。

真正的问题不是“是否坐标网”，而是“坐标网够不够”

到此为止，论证的要点可以收束为一句：“坐标网”是一个正确的描述，不是一个有效的贬低。 人脑用高维向量编码语义，分布式语义把意义定义为关系中的位置，NTP 优化把关系结构压缩进向量几何——这三件事指向同一个方向。Transformer 当然不是人类理解力的复制品，它缺少具身经验、缺少因果干预、缺少社会情感的 grounding，这些都是真实且重要的差异。但把这些差异打包成“根本不懂语言”的全称否定，在神经科学和深度学习两边都站不住脚。

真正值得问的问题，不是“它是不是坐标网”（它当然是），而是“这种坐标网在哪些语义维度上足够，在哪些维度上不够，以及不够的部分能否通过架构、训练信号或外部 grounding 来补足”。这是一个有实质内容的经验问题，而不是一句“只是算坐标”就能注销的。把 Transformer 的内部计算描述为坐标网，然后用“只是”二字完成否定，恰恰回避了那个更难也更有价值的问题：当我们终于有了一个可以用几何来读写的语义系统时，我们究竟在它里面看到了什么，又还缺什么。

参考链接

以下是根据文章引用的文献线索整理的参考链接，按论述逻辑顺序排列。

神经科学证据：人脑的语义表征同样是“坐标网”

[1] Mapping concept and relational semantic representation in the brain using large language models (Bogdan et al., Current Biology, 2026)
https://doi.org/10.1016/j.cub.2026.01.064

[2] Using computational semantics to study meaning in the brain (review of 57 fMRI studies, Neuroscience & Biobehavioral Reviews, 2025)
https://www.sciencedirect.com/science/article/pii/S0149763425005159

[3] A Continuous Semantic Space Describes the Representation of Thousands of Object and Action Categories across the Human Brain (Huth et al., Neuron, 2012)
https://doi.org/10.1016/j.neuron.2012.10.014

[4] Natural speech reveals the semantic maps that tile human cerebral cortex (Huth et al., Nature, 2016)
https://pmc.ncbi.nlm.nih.gov/articles/PMC4852309/

分布式语义：意义分布在共现关系中

[5] Distributional Semantics and Linguistic Theory (Boleda, Annual Review of Linguistics, 2020)
https://doi.org/10.1146/annurev-linguistics-011619-030303

向量类比的批评：king−man+woman≈queen并非无条件成立

[6] Fair is Better than Sensational: Man is to Doctor as Woman is to Doctor (Nissim et al., Computational Linguistics, 2020；arXiv:1905.09866)
https://arxiv.org/abs/1905.09866

[7] Rotate King to get Queen: Word Relationships as Orthogonal Transformations in Embedding Space (2021)
https://arxiv.org/abs/2110.00197

Transformer可解释性：探针、注意力头与语言学信息

[8] Linguistic Information in Transformer Representations: A Critical Review of Probing Methods, Layer-Wise Patterns, and Evidence (Hameed et al., 2026, Zenodo)
https://doi.org/10.5281/zenodo.22708009

[9] What Does BERT Look At? An Analysis of BERT’s Attention (Clark et al., 2019；arXiv:1906.04341)
https://arxiv.org/abs/1906.04341

[10] A Primer in BERTology: What We Know About How BERT Works (Rogers et al., TACL, 2020)
https://doi.org/10.1162/tacl_a_00349

[11] Attention Heads of Large Language Models: A Survey (Zheng et al., 2024；arXiv:2409.03752)
https://arxiv.org/abs/2409.03752

下一词预测如何“逼出”语义结构

[12] Geometry of Semantics in Next-Token Prediction: How Optimization Implicitly Organizes Linguistic Representations (Zhao & Thrampoulidis, 2025；arXiv:2505.08348)
https://arxiv.org/abs/2505.08348

[13] Beyond Co-occurrence: A Study of Early-stage Semantic Geometry in Next-Token Prediction (Zhao, Papadimitriou & Thrampoulidis, ICLR 2026)
https://iclr.cc/virtual/2026/10012802