Sutskever-精选论文清单-二-

Sutskever 精选论文清单（二）

原文：Sutskever's List

译者：飞龙

协议：CC BY-NC-SA 4.0

下一步是通过压缩估计描述长度。将粗粒化数组写入文件并输入标准压缩器（例如 gzip 或 bzip2），记录得到的压缩后大小。压缩文件的大小被作为该宏观状态的柯尔莫哥洛夫复杂度的估计值。柯尔莫哥洛夫复杂度是生成给定对象的最短程序的长度。简短的描述表示简单；长的描述表示复杂。具有可见结构的状态，如漩涡和簇，是“有趣的”，但往往压缩效果差，因此具有更长的描述长度；无特征或直接的状态压缩良好，具有更短的描述。作者将这一量称为 表观复杂度，并将其用作真实柯尔莫哥洛夫复杂度的实用替代，而真实柯尔莫哥洛夫复杂度在实践中是不可计算的。

想象两封 10,000 个字符的电子邮件：

• 随机邮件——你通过抛一枚公平的硬币 10,000 次并写“H”表示正面、“T”表示反面来生成它。这条消息具有高熵，在实践中不可压缩。由于它不包含结构，其柯尔莫哥洛夫复杂度很高。重现精确序列的最短程序就是序列本身。

• 结构化邮件——你写“HTHT … HT”，重复“HT” 5,000 次。这条消息具有较低的熵且高度可压缩。其柯尔莫哥洛夫复杂度很低，因为一个短程序，如“打印‘HT’ 5,000 次”，就能重现它。

为了与热力学形成对比，作者还压缩了原始的、未平滑的二进制网格来估计熵。一个彻底混合的咖啡杯在微观层面看起来是随机的，因此细粒化文件几乎不可压缩，其大小接近未压缩的大小。在中间时间步长中，细网格可能仍看起来随机，但粗视图可以揭示清晰的大尺度秩序。关键在于，熵反映微观层面的无序，而表观复杂度捕捉宏观层面的结构。

8.1.2 结果

作者发现，随着奶油和咖啡混合，熵（顶部曲线）稳定增加，反映不断增长的无序。见图 8.3。同时，复杂度（底部曲线）在开始时很低，只有两个简单的层；它在中间时间上升到峰值，此时出现复杂的混合模式，然后随着混合变得均匀而下降。换句话说，系统在中点处算法上变得最复杂，恰恰是在可见的“牛奶触须”和类似湍流的结构存在时，尽管这既不是最低熵点（初始状态）也不是最高熵点（最终状态）。这表明一个封闭系统如何能够在仍然遵守热力学第二定律 [3] 的同时，表现出表观复杂度的暂时上升。

https://github.com/OpenDocCN/ibooker-dl-zh/tree/master/docs/sutskevers-list/img/CH08_F03_Heimann.png

Figure 8.3 In the simulation of coffee and cream mixing, entropy (top, monotonic curve) steadily increases toward a maximum as the fluids randomize, in accord with the Second Law. Apparent complexity (bottom, nonmonotonic curve) first increases, then decreases, peaking at an intermediate time when the system’s state is most “interesting,” or structured. Used with permission granted by the lead author (Scott Aaronson).

为了强化直觉，该论文提供了相互作用和非相互作用模型在不同时间的杯子状态的灰度图像。在粗粒化实验中，两个模型都表现出估计复杂度的初始上升和最终下降，在中间时间达到峰值。图 8.4 显示了相互作用自动机的三个快照。顶行描绘了细粒化状态，其中每个像素为黑色或白色，表示咖啡或奶油，底行说明了粗粒化状态，其中像素的灰色阴影表示局部混合比例。最初，粗图像是一种简单的块结构，一半黑一半白。在复杂度峰值处，中间图像显示了一个中间混合状态，具有不规则的灰色区域，其中咖啡和奶油的局部比例在整个杯子中变化。最后，粗图像是一个均匀的中灰色；触须已扩散消失，留下均匀性，几乎到处都是 50/50 的混合。

https://github.com/OpenDocCN/ibooker-dl-zh/tree/master/docs/sutskevers-list/img/CH08_F04_Heimann.png

Figure 8.4 Visualization of the interacting automaton’s state over time. Used with permission granted by the lead author (Scott Aaronson).

图 8.5 展示了非相互作用自动机。其中间细粒度和粗粒度图像的结构远不如相互作用模型。复杂度峰值小得多（图 8.3，右）。这些图强化了相互作用动力学产生难以压缩的状态，而独立扩散则没有。咖啡自动机也提醒我们，系统可以是高熵但平淡无奇，或是中熵却结构化。

https://github.com/OpenDocCN/ibooker-dl-zh/tree/master/docs/sutskevers-list/img/CH08_F05_Heimann.png

图 8.5 非相互作用模型的相同可视化。中间图像的结构不如相互作用模型，复杂度峰值更小。经主要作者（Scott Aaronson）许可使用。

在咖啡自动机中，杯子开始时简单，变得复杂，然后再次简单，即使微观无序度持续上升。使这一点可见的技巧是对模拟进行粗粒化。作者不跟踪每个微态，而是观察保留漩涡的模糊宏观态。因此，熵是对细粒度微态的陈述，而“表观复杂度”是对粗粒度宏观态的陈述。

在人工神经网络中，微态可能是完整的权重矩阵，直到最后一位小数。然而，微态层面过于详细。我们关心的是宏观态，包括咖啡中的漩涡模式或模型学到的函数和表示。如果你查看正确的粗粒度变量，训练看起来就像一个系统先探索，然后自我组织，然后简化。这为讨论 AI 如何在其学习结构中表现出越来越复杂的特性，随后通过泛化简化，奠定了概念基础。

通过根据算法信息和描述长度定义复杂度，作者架起了物理与信息理论之间的桥梁，展示了来自计算机科学的概念，如柯尔莫哥洛夫复杂度，如何启发物理学，反之物理学如何启发计算机科学。作者将一个抽象概念，如柯尔莫哥洛夫复杂度，定量应用于一个具体的物理场景。他们对现实世界压缩算法的使用也很清晰，并避免了不可计算性问题。人们确实可以重建粗粒度图像并看到导致复杂度的模式。这种教学上的清晰性使作品对广泛的、具备技术素养的受众来说易于理解，就像 Chris Olah 的作品一样（第 4 章）。

8.2 柯尔莫哥洛夫复杂度与算法随机性

《柯尔莫哥洛夫复杂度与算法随机性》于 2017 年出版[4]。前半部分是教科书式的核心概念阐述，后半部分展示了来自莫斯科“柯尔莫哥洛夫研讨会”及其研究人员的更先进、近期的成果。弗拉基米尔·A·乌斯宾斯基（1930–2018）是安德烈·柯尔莫哥洛夫的学生，这位苏联数学家开创了该领域[5]。乌斯宾斯基领导了莫斯科国立大学的数学逻辑与算法系，并在柯尔莫哥洛夫著名的 20 世纪 80 年代算法复杂性研讨会中发挥了重要作用。亚历山大·申和尼古拉·韦列夏金在莫斯科的算法信息论学派接受培训，并对柯尔莫哥洛夫复杂度研究领域做出了重要贡献[6][7]。

柯尔莫哥洛夫复杂度将对象的信息内容定义为输出该对象的最短程序的长度，而算法随机性是指对象没有比对象本身更短的描述的性质。这与压缩观点一致，并与香农熵不同，香农熵衡量概率分布或源的平均不确定性[8]。克劳德·香农问的是在结果已知之前平均需要多少比特，而柯尔莫哥洛夫复杂度问的是在指定之后，多短的描述可以重现这个特定结果。如前所述，重复序列不是算法随机的[9]。相反，回到我们之前的例子，一个典型足够长的公平抛硬币结果序列是不可压缩的：很可能，没有比序列本身短得多的程序能输出它。这是算法随机性的压缩观点[10]。一个真正看起来随机的序列没有这样的短程序，这是柯尔莫哥洛夫和独立地雷·所罗门诺夫引入的关键思想[11]。

在这个框架中，随机性是不可压缩性。它是不存在任何更短的代码来解释数据如何产生。然而，即使一个只包含一点随机性的微小描述，也可能掩盖显著的计算复杂性。描述的简单性与涌现行为之间的张力在该领域最引人注目的构造之一中体现。想象一个遵循简单规则的程序，比如读取一个方格、写入一个符号和切换状态。在这些程序中，许多很快停止，一些运行很长时间，另一些无限循环。拉多的“忙碌海狸”函数是停止前完成最多工作的程序。但确定哪个程序是“忙碌海狸”是一个巨大的问题，因为你必须回答机器是否停止，以及如果停止，它运行多长时间。回答这个问题需要解决著名的停机问题，我们已经知道一般情况下无法解决。这意味着“忙碌海狸”函数是不可计算的[12]。

这在关于压缩和随机性的章节中重要的原因是，忙碌海狸是短描述不保证简单行为的最清晰证明。随机数据复杂是因为它抵抗压缩；没有更短的描述。但忙碌海狸在相反方向上是复杂的。它在“描述长度”上很短，因此高度可压缩。然而当你运行它时，它可能花费比任何可计算边界更长的时间。就像一颗小种子长成一棵巨树，但你只有让它生长才能发现它有多大。

因此，当随机性是无法缩短描述时，忙碌海狸是对“最短代码”思维的警告。如果一个简短的解释只有在经过不可知的长计算后才能产生我们想要的东西，那么它可能是无用的。这正是为什么像阿伦森这样的研究人员强调资源受限的思想，这些复杂度度量不仅关心你的解释占用多少比特，还关心将其转化为你试图解释的内容需要多少计算。

8.2.1 算法统计

本书还研究了更专业的主题。例如，算法统计研究如何在单个数据集中将结构与噪声分离。它使用柯尔莫哥洛夫复杂度来识别捕捉该结构的最简单模型。这个主题如此相关，以至于伊利亚·苏茨克维夫明确推荐了本书的最后一章，标题为“算法统计”[13]。

那一章以算法术语构建科学解释。一个好的理论应该简洁且不令人意外。作者使用柯尔莫哥洛夫复杂度作为简单性的标杆，以及随机性缺陷作为典型性的标杆，将这一点形式化。如果一个模型能将数据生成为众多结果中不起眼的一个，那么数据就是典型的。简单性意味着对低复杂度模型的简短描述；通常，数据看起来像来自该模型的正常样本，因此具有低随机性缺陷。这些想法共同将“好的科学解释”的直观概念转化为我们几乎可以量化的东西。

将随机性缺陷视为一种衡量异常性的工具。高缺陷表明数据点不太可能出现，而低缺陷表明在该模型下数据是可预期的。正式地说，如果我们把模型视为一组可能的结果或概率分布，随机性缺陷衡量数据与模型通常会产生的情况之间的差距。假设你的模型是“所有天鹅都是白色的”，而你的数据点是一只黑天鹅。那只黑天鹅对模型来说是非典型的；它相对于“所有天鹅都是白色的”具有高随机性缺陷。如果你的模型是“天鹅可以是黑色或白色”，那么黑天鹅具有低缺陷，并且在模型下是正常的。从算法的角度来看，本章将随机性缺陷大致定义为模型对结果的预期复杂性与特定数据的实际复杂性之间的差距。如果缺陷很小，数据符合模型的预期。如果缺陷很大，数据就是一个尴尬的不匹配。

在这个框架中，一个好的解释将简单的模型与低随机性缺陷配对。模型应该简洁，数据应该相对于该模型是典型的。这正式化了科学理论的两个支柱：模型的简单性和数据相对于模型的典型性。如果任何一个支柱失败，例如，模型简单但数据在它看来不合理，那么解释就不令人满意。模型可能过于简单以至于无法使数据典型，或者数据可能仅仅因为模型过于复杂而完美拟合。

2025 年末，陶哲轩评论说，Gemini Deep Research 在对埃尔德什问题#481 进行文献综述时，复制了一个本质上正确的论证，尽管报告似乎没有认识到它已经建立了结果 [14]。该问题后来被标记为已证明，并在 Lean 中验证了证明 [15]。用算法统计的语言，可以将这一事件视为类似压缩机的行为，因为模型在数学话语上训练后，可以从简短的提示中重建结构化的证明。

将有损压缩想象为图像的 JPEG 或音频的 MP3，尽管在正式设置中，我们实际上并没有丢弃信息。理论是，有意义的内容可以被存储，而无意义的噪声可以被丢弃或平均掉。在一个引人注目的结果中，作者表明，如果你能找到数据的最优两部分描述，那么第二部分（噪声）不包含有用的信息。你已经将所有的意义挤进了模型中。例如，他们描述了一个场景，你获取一个长记录（比如说，所有世界观测编码成一个字符串）并为其找到最优模型；其余部分将是不可压缩的噪声，而模型的输出将是世界数据的“去噪”版本。这是一个理论理想，因为在实践中，完美地做到这一点是不可能的。尽管如此，这是一个美妙的见解。最好的解释不仅解释，而且清理数据。它识别出数据的哪些部分遵循类似规律的结构，哪些是偶然的随机性。

从哲学上讲，这关系到我们如何进行科学。当多个理论可以解释数据时，我们倾向于更喜欢更简单的那个（奥卡姆剃刀）以及不让数据看起来奇迹般的那个。算法统计提供了一种语言来以数量精度讨论这一点。在现代人工智能中也不难看到这一点的回响。当我们训练模型，特别是无监督模型时，我们实际上是在做压缩。例如，人工智能中的世界模型，比如那些学习环境物理的模型，将观测历史压缩成一组规则。一个好的世界模型可以生成与真实世界分布匹配的典型结果，就像算法统计中的一个好的解释为埃尔德什问题生成典型数据一样。

同样，本章的思想与机器学习的泛化联系在一起，如果模型捕捉底层模式而忽略噪声，它就能很好地泛化。一个好的模型不会过拟合噪声，因为那样会使描述膨胀，并且它在可能时压缩规律性。这意味着任何学习或解释的系统——无论是科学家、压缩算法还是人工智能——都面临算法统计所捕获的相同的权衡。它必须通过在保持缺陷小的同时最小化模型复杂性来平衡模型的复杂性与数据的拟合。

一个特别有说服力的后果是，我们可以将人工智能和压缩视为同一目标的两个版本。例如，像 DALL-E 或 GPT 这样的人工智能在训练期间压缩知识，然后生成输出。它使用一个内部模型，从某种意义上说，它是世界的两部分代码：模型及其权重，加上产生特定图像或句子时的残差随机性。如果该模型过拟合数据，它就像携带一个巨大的查找表。没有学习。如果它欠拟合，它太简单，无法捕捉结构，导致大的错误，例如使用直线来拟合复杂的曲线。最佳点是一个刚好足够丰富以捕捉规律性的模型，但又不至于如此丰富以至于它开始将随机性视为规律性来捕捉。

8.2.2 意义

与本章中的其他著作不同，《柯尔莫哥洛夫复杂性与算法随机性》 的意义不在于它引入了基础定义或定理。在算法信息论已经成为一个成熟领域之后出版，这本书将主题汇编成对复杂性、随机性、概率和熵的系统性阐述，然后才进入更专业的主题，如共同信息、多源算法信息论、信息与逻辑以及算法统计。

它也是历史性的。在李和维塔尼的《柯尔莫哥洛夫复杂性及其应用导论》成为标准广泛参考的地方，沈、乌斯宾斯基和韦尔希宁的书延续了莫斯科学派的视角，包括与柯尔莫哥洛夫研讨会相关的工作。因此，它对苏茨克弗列表的意义与原始研究论文不同。它保留了一种技术传统，同时澄清了基于压缩的随机性观点如何与概率、信息论、逻辑和统计解释联系起来。

8.3 最小描述长度原理教程介绍

最小描述长度（MDL）断言，对数据的最佳解释是实现最大压缩的解释。简单来说，如果数据包含模式或结构，我们可以用更少的位来描述它，而完全随机的数据是不可压缩的。彼得·格伦瓦尔德的论文《最小描述长度原理的教程介绍》以三个 10000 位序列开头。第一个是 0001 重复 2500 次；第二个是硬币翻转序列；第三个大致有四倍于 1 的 0。第一个序列非常规则。与其写所有的 10000 位，可以说“0001 × 2500”并传达相同的信息。随机序列没有明显的模式。因此，不可能有比完整序列更短的描述。第三个序列是中间的。它不是确定性地有模式，但它表现出统计规律性，因为它对 0 的偏向可以用于压缩。这说明了 MDL 的核心思想。当我们在数据中发现规律或结构时，我们可以压缩它；相反，成功的压缩提供了我们已经捕捉到该结构的证据。

MDL 与柯尔莫哥洛夫复杂度相关，后者是简单性的终极度量。实际上，MDL 近似于柯尔莫哥洛夫复杂度。虽然我们失去了找到数据最短描述的保证，但我们获得了一个可行的模型选择过程。正如格伦瓦尔德所说，我们为实用 MDL 方法付出的代价是，总是会存在一些我们无法用给定模型类捕获的规律。这是不可避免的。没有通用学习器能够捕获每一个可能的规律。MDL 提供了一种方法，通过平衡模型复杂度和数据拟合，用手头的模型捕获尽可能多的规律。

MDL 的优点之一是它自然地防止过拟合。当模型捕获了数据的底层结构及其噪声时，就会发生过拟合，导致泛化能力差。MDL 通过显式地惩罚复杂度来防止这一点。即使模型通过完美匹配每个数据点达到零训练误差，总代码长度（结合模型描述和数据）最终也会更长，因为需要更多比特来指定模型的所有复杂细节。相反，更简单的模型可能不能完美拟合数据，可能留下残差误差。但它仍然可以导致更短的总描述，因为模型简单性节省的比特超过了描述这些残差所需的额外比特。

格伦瓦尔德用一个多项式曲线拟合场景来说明这一点（见图 8.6）。线性模型（左）很简单，但对数据欠拟合，因为它在残差中留下了系统性模式，未能捕获数据的弯曲。高次多项式（中间）很复杂。虽然它可以插值每个数据点并留下零训练误差，但它会浪费比特来描述噪声。最优折衷是中等次数的多项式，它捕获总体趋势而不捕获噪声（右）。MDL 会选择这个模型，因为它产生最短的描述，这又是一个相对简单的函数形式加上对适度残差的简短编码。

https://github.com/OpenDocCN/ibooker-dl-zh/tree/master/docs/sutskevers-list/img/CH08_F06_Heimann.png

图 8.6 简单多项式（左）对数据欠拟合，复杂多项式（中间）可以达到零训练误差但浪费比特描述噪声，而折衷多项式（右）识别总体趋势而不包含噪声。经主要作者（彼得·格伦瓦尔德）许可使用。

该论文的基本主张是学习就是寻找规律，这表现为可压缩性。每当我们能缩短数据的代码时，我们就揭示了其中的结构；当我们不能时，数据就可能是噪声。一个捕获了规律的模型将既能压缩过去又能很好地预测未来。格伦瓦尔德的教程将复杂性视为模型推理的工具，而不仅仅是我们研究的东西（即柯尔莫哥洛夫理论）。这连接了压缩与预测，并与预测建模相吻合。

苏茨克维耶的下一个令牌预测视角符合这一图景。诸如下一个令牌预测之类的训练目标迫使人工神经网络将其训练数据压缩到柯尔莫哥洛夫复杂度。虽然真正的柯尔莫哥洛夫复杂度是不可计算的，但说法是，用梯度下降训练的大型网络比其他模型更能近似这一理想，使它们成为 MDL 核心压缩-预测联系的实用实例[16]。

伊利亚在采访中分享了 OpenAI 的 iGPT（2020）实验的结果。iGPT 是一个 GPT 风格的变换器，在低分辨率图像上无标签训练以预测下一个像素，并在单独的监督分类任务上评估[17][18]。尽管从未接受过分类训练，该模型学习了强大的内部表示。在 CIFAR-10 上，iGPT 达到 96.3%，优于 ResNet-152（第 3 章）。

更深层的意义在于最有用的表示所在之处。在监督学习中，优化P(Y|X)促进网络顶部的线性可分性。最好的特征在那里被发现，因为最后一层鼓励网络丢弃无助于预测标签Y的信息。然而 iGPT 的无监督训练目标更接近于对P(X)建模。该目标不需要类别分离，因此模型学习任何最好地减少像素不确定性的结构，包括语义结构和低级细节。

有趣的是，相对于网络中间的最佳层，最终层的准确率下降了约 2.4%。作者将这一差距描述为“基线与最先进结果之间的差异”。意义在于，最有用的分类特征在网络中间达到峰值，而不是在末端。这种深度剖面类似于复杂动力学，有趣性在中间达到峰值，然后在顶层逐渐消失，特别是当它们专门用于分类时。

iGPT 的成功支持了下一令牌或下一像素预测迫使模型找到有意义结构的论点。如果网络能压缩其训练数据，它就提取了数据所包含的任何“秘密”。一个由格伦瓦尔德的教程强调的推论是，MDL 对真相是不可知的。MDL 风格的模型选择不是本体论或认识论的承诺。这并不意味着数据背后没有“世界模型”或“世界模型”是无稽之谈。在 MDL 术语中，世界模型只是对底层数据生成过程的一种特别好的压缩方案。

当数据流锚定在我们关心的世界中时，在描述长度上胜出的模型正是那些内部结构反映该世界关键方面的模型。追求单一可重用“世界模型”的项目——比如在丰富环境流上训练的 JEPA 风格架构，而不是仅文本——本质上是赌一个共享压缩机将比一堆特定任务的压缩机更便宜且更有用[19]。

这样看，当今语言模型产生幻觉的事实就不再神秘了。它们的训练目标（即下一令牌）并不强制对世界进行忠实的数字孪生。相反，它是一个精细的、MDL 风格的压缩目标。在模型达到近似最优压缩的程度上，它必须表示数据的大量潜在结构，但不一定包括存在或最终重要的所有结构。这产生了工具性可靠性，但它从不询问生成的内容是否准确对应外部世界。换句话说，我们通过预测压缩来判断它，而不是通过关于真实世界的先验真相声明。

这种情况类似于前面讨论的 VLAE 架构（第 7 章），其中潜在代码保留了图像的大规模结构，而 PixelCNN 解码器填充局部合理的细节。这种分工之所以有效，是因为许多细粒度图像与同一粗略描述兼容。语言模型对文本执行类似的操作。它们的参数和上下文编码了语言和概念规律的压缩模型，而生成则逐个令牌地填充剩余的细节。危险在于，名称、引用、判例法、因果机制和数学步骤不仅仅是视觉纹理。一个续写在模型下可能非常典型，因此相对于它的随机性缺陷很低，但仍可能无法对应外部世界。

这类研究也说明了为什么确定性软件并不优于人工智能。只是不同而已。传统程序可能反复出错，因为它每次都应用相同的错误规则，或者因为正确规则只在其设计者预期的狭窄条件下应用而显得脆弱。相反，人工神经网络通过收敛于数据中的潜在规律来得到正确答案。用 MDL 的话来说，重要的不是精确的表面可重复性，而是系统是否捕获了足够的潜在结构以泛化。可重复的错误可能更容易调试，但这并不是关于正确性的普遍论点。这就是为什么“它只是下一个 token 预测”是正确的却空洞。它命名了训练信号，而不是模型必须学习产生该信号的结构。

8.4 保持人工神经网络简单

1993 年，Geoffrey Hinton 和 Drew van Camp 在《Keeping Neural Networks Simple by Minimizing the Description Length of the Weights》一文中认为，当权重的描述长度最小时，人工神经网络的泛化能力更好。通俗地说，网络不仅从数据中学习，还学习关于其自身复杂性的知识。结果是一个模型以最少的权重在新数据上实现高精度。这是一次发明性的演示，表明柯尔莫哥洛夫复杂性的抽象概念可以在人工神经网络中得以实现。通过最小化权重描述的长度，Hinton 和 van Camp 的工作体现了在复杂性中追求简单性的主题。他们表明，即使复杂的神经网络也可以通过遵循信息论过滤器向最小描述长度方向而变得更简单、更好。

该论文介绍了一种根据描述长度来量化和最小化网络复杂性的方法。每个权重值被视为我们可能需要用比特来传达的东西。更复杂的权重配置需要更多比特来指定。通过在训练目标中添加一个可微的比特成本项，作者鼓励网络使用更少的比特，从而压缩自身，而不是量化或硬编码权重，这会使优化复杂化。Hinton 和 van Camp 向每个权重注入高斯噪声。噪声量在训练过程中调整，使得不重要的权重可以承受噪声，而真正关键的权重则被更精确地调整。这种策略提供了一种在精度和简单性之间进行折衷的平滑方式，允许基于梯度的优化来确定每个权重需要多少细节。

8.4.1 方法论

论文的核心是一个优雅的训练目标，最小化总描述长度，定义为编码模型权重所需的比特数与编码训练数据上的残差错误所需的比特数之和。正式地，作者通过将权重视为要传输的消息，以及对网络输出的校正，使这一目标与 MDL 对齐。网络的损失函数被扩展，包括一个以比特衡量的模型复杂性项。

Hinton 和 van Camp 表明，在他们的方案下，指定权重的期望成本（以比特为单位）是 Kullback–Leibler（KL）散度。KL 散度衡量两个分布之间的差异，并估计当一个分布近似另一个分布时丢失的信息量。KL 散度有效地衡量了学习到的权重相对于先验有多“令人惊讶”或信息丰富。通过对所有权重的散度求和，作者得到了网络复杂性的比特数值度量。最小化这个项以及通常的数据误差，等价于寻找最佳联合压缩权重和误差的最小描述长度模型。

为了使其可行，每个权重被视为具有高斯分布的随机变量。在训练期间向权重注入噪声隐式地探索了大量附近的网络，平衡了精度和简单性。高变异性权重在比特上“便宜”，但降低精度；低变异性权重改善拟合但增加复杂性。训练调整均值和变异性以最小化总描述长度。

8.4.2 结果

Hinton 和 van Camp 在他们的 MDL 训练方法上在一个要求很高的肽活性预测问题进行了测试。数据集仅包含 105 个训练样本和 420 个测试样本，刻意保持较小以确保任何容易过拟合的方法都会遇到困难。他们使用的网络有四个隐藏单元和 521 个权重，远超数据点的数量。这种设置使其成为平衡精度和模型复杂性的正则化器的理想试验台。

结果是惊人的。当使用基于 MDL 的惩罚进行训练时，网络在测试集上实现了 0.286 的相对误差。相对误差是一个归一化指标，其中较低的值表示更好的泛化，而预测平均目标值的基线得分为 1.0。相反，在没有 MDL 项的情况下训练的同一网络实现了 0.967 的相对误差，仅略好于平凡的基线。这种差异展示了 MDL 目标如何防止模型记忆小训练集中的噪声。通过对每个过于精确的权重收取“额外比特”，该方法自动限制了模型过拟合的能力。

为了与熟悉的方法进行基准比较，作者将 MDL 与权重衰减进行了比较，权重衰减是一种经典的正则化技术（由AlexNet推广），用于惩罚大的权重。经过仔细调整，权重衰减产生了 0.317 的相对误差，相比未正则化的训练有显著改善，但仍比 MDL 达到的 0.286 差。达到 0.317 需要反复试验以确定合适的惩罚系数，并且在实践中，必须使用一些训练数据进行验证。Hinton 和 van Camp 指出，如果有人“偷看”测试集来调整这个超参数，最佳的权重衰减模型可以达到约 0.291，仍然较差。MDL 方法自动找到了这种最优折衷，无需外部调整。

他们还包括了一个线性回归基线作为参考。没有正则化，线性模型灾难性地过拟合了 105 个数据点，产生了 35.6 的测试误差，比人工神经网络差数百倍。但添加强的岭正则化（惩罚大系数）将其降低到约 0.291，与调整后的权重衰减网络相当。这表明，在强正则化下，非线性网络的隐藏单元表现得像线性一样。这种方法之间的收敛强化了这样一种直觉，即这里成功的泛化来自简化模型的内部表示，而不是利用其非线性能力。

除了数值指标，作者还强调了定性证据，表明网络在 MDL 框架下更有效地组织了其知识。到训练结束时，许多权重已经分组到几个不同的簇中。学习到的编码先验被建模为五个高斯分布的混合，重新形成以适应这些簇。换句话说，大多数权重落入了几个可预测的值，每个值只需用很少的比特即可编码。

这种自我压缩正是 MDL 原则所预测的：最小化总描述长度推动模型走向与数据一致的最简单表示。网络不仅在未见的分子上泛化得更好，而且还发明了自己紧凑的内部语言来表示所学的内容。这些结果强烈支持 Hinton 和 van Camp 的论点，即作为压缩的学习能够产生既高效又稳健的模型。

8.4.3 局限性

尽管该方法优雅，但也存在一些局限性。首先，算法的复杂度并不简单。与标准反向传播不同，它需要为每个权重维护和更新一个分布，包括其均值和方差，而且在作者的实现中，甚至需要维护混合先验的参数。这至少将可训练参数的数量翻了一番，并且需要计算不确定性如何通过非线性激活传播。Hinton 和 van Camp 不得不使用近似表并进行仔细的数值检查，以正确实现梯度，这说明了这项工作是多么繁琐。这种复杂性会阻碍扩展到更大的网络或数据集，尤其是在 1993 年该论文发表时。事实上，该论文仅报告了具有单个隐藏层和相对适中参数数量的实验。

此外，评估是有限的。作者将他们的结果描述为“初步的”，并未与其他正则化方法或更大的基准进行详尽的比较。后续研究发现，更简单的技术，如调优的权重衰减或提前停止，往往能以少得多的麻烦达到类似的结果 [20][21]。这解释了为什么 MDL 方法在实践中没有流行起来。

8.4.4 文化影响

就文化影响而言，本文并未彻底改变网络训练。虽然这项研究领先于时代，但 1993 年的社区缺乏采用如此复杂的正则化方法的计算资源或紧迫性。但其以比特为中心的视角在现代实践中很明显，如模型压缩和量化网络。今天，我们使用了这一思想的变体，如权重衰减、随机失活、稀疏先验、剪枝、量化和蒸馏，这些都缩小了模型的描述。本文值得列入 Sutskever 榜单，因为它体现了对简洁性的统一追求，其中以比特或描述长度衡量的简洁性是实现更好性能的关键。

8.5 Grokking

我们已经看到复杂度在物理系统、单个字符串以及通过 MDL 定义的模型中的定义。最后一节探讨现代深度神经网络是如何训练的，将我们之前的话题与 grokking 和双下降联系起来。

Grokking 描述了人工神经网络如何在完美记忆其训练数据后发现可泛化的解决方案 [22][23]。这是一个引人注目的现象，其中测试准确率在模型过度拟合训练集很久之后，从猜测跃升至接近 100%。这个延迟的“啊哈！”时刻引发了关于网络从暴力记忆到泛化转变过程中内部变化的问题。

论文《Complexity Dynamics of Grokking》通过测量模型在训练期间学到的表征的内在复杂度来解决这一谜题 [24]。Branton DeMoss 及其同事发现，网络的内部复杂度在 grokking 过程中经历相变：随着网络记忆数据而上升，然后一旦学会更简单的潜在模式以实现泛化便急剧下降。至关重要的是，这种升降模式仅在充分正则化下出现。未经正则化的网络保持高度复杂，本质上记忆每个细节，且永不泛化。见图 8.7。

https://github.com/OpenDocCN/ibooker-dl-zh/tree/master/docs/sutskevers-list/img/CH08_F07_Heimann.png

图 8.7 在模乘法 grokking 实验中，未正则化（顶部）和已正则化（底部）神经网络的复杂度动态。标记表示记忆（□）和泛化（○）发生的时间。在正则化网络中，泛化发生在复杂度在记忆峰值后下降时，而未正则化网络永不泛化，其复杂度保持高位。三个种子的均值；阴影表示标准误差。经主要作者 (Branton DeMoss) 授权使用。

作者明确引用咖啡自动机的“表观复杂度”作为灵感。仿佛人工神经网络在“混合”原始数据时变得更复杂，然后进入更简单的宏观构想。中间的时期对应网络权重或表征处于最大复杂度之时，就在网络简化为可泛化的解决方案之前。虽然这不在咖啡自动机论文中，但它扩展了论文的思想，强调了其不仅与物理相关，也与机器学习和泛化相关。

作者的核心论点是，当模型真正学到一般规则时，它比仅仅记忆时更“简单”且更可压缩。当网络捕获训练集的特质特征时，它实际上是在“记忆”，这需要大量信息容量并增加复杂性。在此阶段训练准确率上升，但压缩模型大小也上升，因为网络编码更多信息以捕获每个训练样例。

但在多次迭代后，模型发现了潜在模式。此时，测试准确率提高，而模型复杂度下降。模型已过渡到更简单的内部表征，不再记忆单个样例，而是编码一般规则。学习算法现在为数据找到了更短的描述。研究人员表明，这一转变与“清理阶段”一致，在此阶段模型移除早期训练时依赖的记忆样例 [25]。本质上，网络“遗忘”随机细节，只关注本质。

这与像 SIFT+SVM（第 2 章）这样的旧流水线非常不同，后者固定特征并仅学习类别间的决策边界。如果那些固定特征未能揭示真实结构，分类器必须存储许多逐样例的怪癖，导致高复杂度和差泛化。相反，深度网络直接学习特征，重组表征使规则变短。用 MDL 的话说，深度学习获胜是因为它能通过改进表征来压缩总描述长度，而不仅仅是在顶部拟合边界。

值得重提 Alyosha Efros 的笑话（第 2 章），关于“‘花哨’的人工神经网络……并不比简单的最近邻好多少”，以及数据的不合理有效性，这两者都将数据定位为伟大的均衡器。也就是说，只要有足够的数据，即使简单方法也能走得很远。但该结论假设了一个固定表征，其中“最近”已经意味着某些有用的东西。然而深度学习是一个重写特征空间的解决方案。它通过学习和压缩表征来简化问题本身。最终，架构很重要，在扩展时我们必须始终询问，“扩展什么？”重要的扩展问题不仅是“多少数据？”，还包括架构和学到的表征。毕竟相当 fancy schmancy。

在他们的实验中，DeMoss 等人聚焦于小型算法任务，如模运算，这些任务已知会表现出 grokking 行为。他们表明，网络的描述长度（以比特为单位）在过度拟合期间达到峰值，然后在 grokking 时刻崩溃，此时测试性能激增。见图 8.8。这种行为类似于物理中的相变，就像水沸腾或磁铁失去磁化一样。学习系统从以高复杂度和记忆为特征的状态过渡到以低复杂度和泛化为特征的状态。论文的论点是，当网络停止记忆并开始学习时，它有效地找到了数据的更短描述。正如作者所说，“泛化最好的模型就是压缩数据最好且自身最可压缩的模型。”

https://github.com/OpenDocCN/ibooker-dl-zh/tree/master/docs/sutskevers-list/img/CH08_F08_Heimann.png

图 8.8 模算术任务中涌现时的复杂度

灰色曲线显示训练和测试准确率；粗曲线显示学习表示的估计复杂度。在模加法、乘法、减法和除法中，复杂度在记忆到泛化的过渡期间上升，然后在模型陷入更简单的类规则解时下降。峰值出现在训练准确率（虚线灰色）已经很高但测试准确率（实线灰色）尚未完全赶上的区间附近。随着模型记忆，复杂度增加；随着它们泛化，复杂度（以字节为单位）下降。经主要作者（Branton DeMoss）许可使用。

8.5.1 压缩

作者开发了一种自定义压缩方案，在保持准确性在很小容差内的同时，模糊掉非本质的细节。他们不仅是在缩小网络的权重；他们正在简化网络所做的事情。这意味着压缩发生在函数空间中，而不仅仅是在参数空间中。因此，两个行为几乎相同（即它们做出几乎相同的预测）的网络被视为等价的，即使它们的内部参数不同。结果是一种更有意义的压缩形式，优先考虑模型的行为而不是其微观细节，呼应了 Aaronson、Carroll 和 Ouellette 的工作。

压缩流水线有两个主要步骤。首先，权重量化将浮点权重映射到一小组离散值（例如，8 位码）。为了保持准确性，量化感知训练 在训练期间注入噪声或模拟舍入，使网络对错误更健壮。这个想法追溯到 Hinton 和 van Camp 的 MDL 框架，如 DeMoss 等人所引用。训练后，模型可以以最小的准确性损失进行量化。直观地说，这消除了对微小的、逐样本的权重调整的依赖，保留了重要的粗粒度结构。

另一步是低秩近似。一个大的权重矩阵可能包含许多参数，但如果其行和列主要重新组合一组较小的基础模式，则仍然可以被一个低得多的秩矩阵很好地近似。在这种情况下，矩阵可以分解为更薄的矩阵，保留主导方向而丢弃冗余的。这松散地联系到 Hinton 的 dropout 理由（第 2 章），它通过在训练期间随机将神经元设置为零来破坏这种共适应，迫使特征在不同上下文中保持有用。两种方法都阻碍了脆弱的依赖，但方式不同。Dropout 使表示对任何特定单元的依赖减少；低秩近似是事后进行的，并压缩剩余的共享结构。

值得注意的是，作者实现了 30× 到 40× 的压缩比。事实上，一个朴素的压缩器只捕获了训练动态的一小部分。假设你在训练的不同点 gzip 模型。在这种情况下，文件大小大致相同，因为它由初始化和随机训练程序留下的随机位主导。相比之下，他们复杂的有损压缩足够敏感，能够检测模型真实复杂度的细微变化。在一个例子中，当网络学习模乘法时，其压缩长度最初增加，表明它正在编码更特定的信息以拟合训练数据。然后，在涌现点，压缩长度骤降，表明网络找到了乘法规则的更简单表示。这提供了网络已有效地将数据集压缩为简单规则而不是记忆每个例子的证据。

8.5.2 从理论到实践再回到理论

从历史上看，从业者了解到模型性能的整洁图景。随着模型容量的增长，训练误差（即训练集上的损失）下降，而测试误差（即保留数据上的损失）遵循 U 形曲线。许多从业者（包括我）将这一点内化为一个因果故事，其中小模型欠拟合（即高偏差），中型模型达到最佳点，而大型模型过拟合（即高方差）。所谓的偏差-方差权衡的教科书演示是多项式拟合，类似于 Grünwald 的演示（图 8.6）。直线对抛物线数据欠拟合；二次函数拟合数据；而高阶多项式追逐噪声。正则化被理解为通过限制容量或提高健壮性来减轻这种行为。这个教训的经典解释是将模型复杂度与数据复杂度匹配并保持在 U 的底部附近。参见图 8.9（左）。

https://github.com/OpenDocCN/ibooker-dl-zh/tree/master/docs/sutskevers-list/img/CH08_F09_Heimann.png

图 8.9 左：经典的偏差-方差权衡。训练误差（在此图中称为“风险”）显示为虚线。它单调下降，而测试误差（实线）是 U 形的，底部是最优的。右：在插值阈值之外，测试误差在过参数化（插值）区域中先上升后再下降，而训练风险保持接近零。经主要作者（Mikhail Belkin）许可使用。

AlexNet（2012）拥有 6000 万个参数，作者担心训练期间的过拟合。他们使用了数据增强、dropout 和权重衰减，因为没有这些技术，过拟合似乎很明显。结论是，如此大的网络在 U 的右侧的过拟合区域中运行，必须通过正则化拉回中间。然而，随着深度学习的扩展，出现了非同寻常的现象。更大、更深的模型即使在适度或没有显式正则化的情况下仍继续泛化。

在现代过参数化设置中，传统的 U 形曲线是不完整的。在插值阈值之外，测试误差可以再次下降，正则化通常使非常大的模型能够很好地泛化。参见图 8.9（右）。这里，“过参数化”意味着模型拥有远超拟合训练数据所需的参数，因此它可以完美插值，精确地拟合每个训练示例。插值阈值是变得可能的容量点。在那之后，许多现代网络仍然泛化得很好，因为显式正则化器和优化器的隐式偏差引导它们走向精确拟合数据但仍然足够简单以便在新数据上表现良好的函数。

2016 年，Chiyuan Zhang 及其同事通过随机化 CIFAR-10 和 ImageNet 的标签突出了这一分歧，结果令人惊讶 [26]。在 CIFAR-10 数据集上，一个较小的 AlexNet 模型在 50,000 张图像的训练集上达到了 99.82% 的准确率。见表 8.1。

表 8.1 较小版本 AlexNet 在 CIFAR-10 数据集上的训练和测试准确率。原始 AlexNet 有 6000 万个参数。

| Model | Number of parameters | Labels | Random crop | Weight decay | Train accuracy | Test accuracy |

| --- | --- | --- | --- | --- | --- | --- |

| AlexNet | 1,387,786 | true | yes | yes | 99.90 | 81.22 |

| | | true | yes | no | 99.82 | 79.66 |

| | | true | no | yes | 100.0 | 77.36 |

| | | true | no | no | 100.0 | 76.07 |

| | | random | no | no | 99.82 | 9.86 |

在 ImageNet 数据集上，AlexNet 达到了 95.20%（top-1）训练准确率，考虑到 1000 个类别中有超过 100 万个随机标签，这高得令人惊讶。如表 8.2 所示，结果表明深度网络可以有效地记忆随机标签。

表 8.2 较小 AlexNet 在 ImageNet 数据集上的训练和测试准确率

| 标签 | 数据增强 | Dropout | 权重衰减 | 训练 Top-1 | 训练 Top-5 | 测试 Top-1 | 测试 Top-5 |

| --- | --- | --- | --- | --- | --- | --- | --- |

| 真 | 是 | 是 | 是 | 92.18 | 99.21 | 77.84 | 93.92 |

| 真 | 是 | 否 | 否 | 92.33 | 99.17 | 72.95 | 90.43 |

| 真 | 否 | 否 | 是 | 90.60 | 100.0 | 67.18 (72.57) | 86.44 (91.31) |

| 真 | 否 | 否 | 否 | 99.53 | 100.0 | 59.80 (63.16) | 80.38 (84.49) |

| 真 | AlexNet (KSH, 2012) | – | – | – | – | – | 83.6 |

| 随机 | 否 | 是 | 是 | 91.18 | 97.95 | 0.09 | 0.49 |

| 随机 | 否 | 否 | 是 | 87.81 | 96.15 | 0.12 | 0.50 |

| 随机 | 否 | 否 | 否 | 95.20 | 99.14 | 0.11 | 0.5 |

虽然这很容易说，但其影响是深远的。这意味着人工神经网络即使在有正则化的情况下，也能记住整个带有随机标签的数据集。事实上，移除数据增强、Dropout 和权重衰减只会轻微降低测试准确率。在“过拟合状态”中，训练误差降低与测试误差升高之间的所谓紧密耦合开始显得可疑。此外，作者表明这种记忆是相对容易的。与在真实标签上训练相比，训练时间仅略有增加（此处未显示）。实验表明，低训练损失并不意味着学习到了有意义的结构，而且架构偏差不足以防止记忆化；否则，网络就不会如此好地拟合随机标签。

8.5.3 双下降

2018 年，Mikhail Belkin 及其同事的一篇论文表明，这些模型表现出了经典的偏差-方差权衡曲线，但随着模型尺寸的进一步增加，它们突然转移到了一个新的状态，测试集性能显著提升，并超过了经典状态下的性能 [27]。他们将这种现象命名为“双下降”。他们的假设很有说服力，但它没有回答双下降是否可以在全尺度深度模型中复制，或者是什么潜在机制导致了这种行为。幸运的是，我们没有等待太久就得到了答案。

2019 年，Ilya Sutskever 和哈佛大学的研究人员在三类架构中具体展示了双下降，包括卷积神经网络（第 2 章）、ResNets（第 3 章）和 Transformers（第 5 章）。他们表明，测试误差与模型大小的关系可以下降、在插值阈值附近上升，然后再次下降 [28]。作者解释了正在发生的事情：

非正式地，我们的直觉是，对于处于插值阈值的模型大小，实际上只有一个模型能够拟合训练数据，而这个插值模型对训练集中的噪声和/或模型设定错误非常敏感。也就是说，由于模型刚刚能够拟合训练数据，强迫它拟合哪怕稍微有噪声或设定错误的标签都会破坏其全局结构，导致高测试误差。相反，对于过参数化模型，有许多能够拟合训练集的插值模型，随机梯度下降（SGD）可以找到一个“记忆化”（或“吸收”）噪声同时在分布上仍然表现良好的模型。

换句话说，当模型刚好足够拟合训练集时，它只有一个非常脆弱的解决方案，因此任何噪声都会破坏测试准确率。但随着模型大小的增加，有许多解决方案，SGD 会找到一个抑制噪声的方案，导致误差的第二次下降。

从复杂性的角度来看，一个勉强拟合数据的中等大小模型会以复杂的方式做到这一点。相反，更大的模型有足够的容量找到一个能够拟合所有数据的更简单解释。换句话说，更大的模型并不是因为它们使用了所有额外参数来记忆更多东西而更好；它们更好是因为它们可以利用这种容量找到一种数据压缩，而较小的模型无法表示这种压缩。DeMoss 等人借鉴了 Aaronson 的概念，称之为“算法热力学”。这种上升-下降的模式可能是自组织复杂系统的一个普遍特征，它们首先探索，然后随着复杂性的增加而压缩。

双下降改变了我们传统上对模型容量的看法。如果引导得当，一个大型网络可以选择表现得像一个更小、更简单的网络，但小型网络无法决定表现得比自己实际更大，正如我们在第 6 章中看到的 TinyLlama 那样。因此，在现代深度学习中，更大更好，因为——经过适当的训练——大型模型最终可能比处于插值阈值的中等大小模型更简单、更不复杂（见图 8.10）。这将 grokking 和扩展的成功联系在了一起。在这两种情况下，简单性获胜，但有时你需要变大或训练更长时间才能找到它。

https://github.com/OpenDocCN/ibooker-dl-zh/tree/master/docs/sutskevers-list/img/CH08_F10_Heimann.png

图 8.10 随着宽度增加，ResNet 的测试误差（实线）和训练误差（虚线）。在插值阈值附近的一个峰值（虚线；阴影“关键”带）说明了双下降，其中误差随着模型拟合数据而上升，然后在更大宽度下再次下降。经主要作者（Preetum Nakkiran）许可使用。

深度双下降也可能有助于解释缩放定律。当模型的容量与数据集匹配时，模型的复杂性就会增长。这就是插值阈值，测试误差会在那里短暂尖峰（见图 8.10）。现代缩放定律明确避免了那个峰值。Kaplan 的缩放（第 6 章）提前停止训练，将复杂性保持在阈值以下，从而产生平滑的幂律曲线。Chinchilla 的方案（第 6 章）更进一步，平衡参数和数据，使模型保持在数据丰富的状态，其中峰值永远不会出现。当研究人员遵循这些规则时，损失随规模而下降。如果违反它们，固定模型大小、让模型缺乏数据，或训练到完美拟合，峰值就会重新出现。今天许多被赞美的缩放曲线并不是深度双下降的例外；它们表明我们已经学会了绕过它。

在 2019 年的一篇文章中，Andrej Karpathy 描述了他不小心让一个网络在冬季假期期间训练，当他在一月回来时，发现模型已经达到了最先进水平 [29]。根据 Karpathy 的经验，“网络会持续训练一段反直觉的长时间”。这个轶事是对那些一旦验证损失稳定就停止训练的从业者的警告。这样做可能会太早，导致他们错过后来出现的增益。

这种惊喜是 Ilya Sutskever 在讨论双下降时指出的一部分。在 Lex Fridman 的播客中，Ilya 证实只有少数研究人员注意到了一些奇怪的情况，即更大的模型表现更好，这似乎违背了标准理论。他还说，他的团队表明，当没有标准正则化时，双下降会出现在“几乎所有实际深度学习系统”中。他强调了这是多么“反直觉”，因为你会期望性能是单调的，正如经典直觉所示，并评论说这种效应“被忽视了这么久” [30][31]。这些观察强调，双下降不仅仅是一个理论上的好奇心，而是现实世界网络训练的一个固有特征，隐藏在看似平坦或完成的动态之后，直到它们变得有趣。

的确，正如 OpenAI 关于该论文的博客文章所指出的，研究人员常常会错过那个标志性的峰值，因为如果他们不越过插值点去看，它可能“很小，很容易被忽略” [32]。这表明，数十年来通过正则化和早停来避免过拟合的关注，使该领域忽视了双下降曲线。最终，双下降并没有完全否定偏差-方差权衡，但它确实表明后者是不完整的。同样能说明问题的是，Sutskever 的名字出现在那篇在全规模模型上复现双下降的论文上。毕竟，他亲历了卷积神经网络、循环神经网络和 Transformer 的扩展。他也在那些跨过插值阈值并报告另一侧情况的人之中，这恰如其分。

8.6 模糊的 JPEG

在与 NVIDIA CEO 黄仁勋的炉边谈话中，Ilya Sutskever 提到了 Ted Chiang 2023 年 New Yorker 文章“ChatGPT Is a Blurry JPEG of the Web” [33]。Sutskever 同意压缩隐喻，但通过不同的概念框架来解读它。Chiang 说，“当你拥有原件时，模糊的网络副本没有用处。”他的论证可追溯到柏拉图的洞穴寓言，该寓言勾勒了对象与其表征之间的关系。同一传统也以其他说法表达，如“地图不是疆域”（Alfred Korzybski）、“所有模型都是错的”（George Box）和“菜单不是饭菜”（Alan Watts）。

但 Chiang 的框架忽略了一些模型是有用的。并不是地图、模型和菜单无用；而是与疆域同样大小的地图在实践中没有用。地图不是它所表示的地域，但相似的结构使其有价值。内布拉斯加州大小的地图就是内布拉斯加州，那是不可处理的。但一张能放进你手套箱的内布拉斯加州地图，会帮你找到去林肯市的路。同样，网络是难以处理的，除非你确切知道想去哪里以及如何到达、偏好盲目探索，或者有一张地图，否则它不能直接提供帮助。

然而 Chiang 误判了这是哪种地图——这是许多怀疑者落入的常见陷阱。他们似乎把“网络的模糊副本”视为有损备份，其中“损”意味着不可靠。但从我们一直在发展的柯尔莫哥洛夫和 MDL 视角看，“模糊的 JPEG”不是糟糕的档案，而是网络生成过程的短程序，其中损失意味着抽象。这些是不同的类别，将语言模型视为档案必然会导致低估其价值。

从压缩角度看，模糊副本是一种新界面，将分散的文档转化为综合答案和行动。当模型被迫进行无依据生成时，对这种综合的信心应该更低，即使 MDL 式预测可以在工具上有用。最终，变得不那么相关的不是网络本身，而是人类导航它的方式以及我们围绕它建立的机器。搜索引擎、网站、浏览器，以及大部分“searchandstitch”软件开发——主要就是查东西并把片段粘在一起——今天都因为 AI 学习有效数据压缩的能力而价值降低。从 Chiang 的视角看，这种损失是缺陷，压缩是档案；从 Sutskever 的视角看，压缩是新界面而非副本。当我们驱动机器进行预测和压缩时，简单性在压倒性的复杂性中浮现。

9 安全超级智能

本章涵盖

• 智能的定义

• 伊壁鸠鲁 + 奥卡姆 + 贝叶斯 + 所罗门诺夫

• AIXI

• 超级智能经典

• 将定义和基准误认为解释

• 智能作为公共测试

论文

• Machine Super Intelligence（2008）Shane Legg

本章追问“智能”意味着什么、我们应如何测量它，以及这些测量能够（和不能够）证明哪些主张。它从 Shane Legg 开始，他将数十种相互竞争的智能定义综合为一种基于性能的 AI 观点。该观点构建了一个通用智能度量，其哲学谱系涵盖伊壁鸠鲁对多种解释的宽容、奥卡姆对简单性的偏好、贝叶斯更新信念的规则，以及所罗门诺夫的归纳思想。

本章还介绍了 AIXI，这是一个概念验证：在 Legg 的定义下，它具有“最大程度”的智能。这一形式化打开了安全问题，包括奖励黑客和 wireheading，并进入更广泛的超级智能经典，追溯推测性预测和 AI 控制焦虑如何与主流实证 AI 研究一同演变。

本章最后分析定义和基准。它探讨智能作为我们通过公共标准和测试所归属的东西，同时对范畴错误保持警惕。在 Sutskever 的清单语境中，Legg 的工作充当统一性的终章。它提供了一种定义人工智能的形式化尝试，同时也揭示了该领域为何仍陷于炒作、怀疑、安全焦虑和务实工程之间。

9.1 机器超级智能

虽然 Shane Legg 是 DeepMind 的联合创始人，但他不如联合创始人 Demis Hassabis 和 Mustafa Suleyman 那么出名。但他的研究在人工通用智能（AGI）文献经典中占据独特位置。在他的博士论文中，Legg 试图使“通用智能”在数学上可处理，将其呈现为可以被定义、测量、优化，并且原则上可以实现的东西。

本节有四个步骤。第一，Legg 将智能定义为在许多环境中实现目标的能力。第二，他将这一定义与一种学习理论联系起来，其中智能体必须推断自己处于何种世界。第三，他展示在这种形式化设置下，一个最大程度智能的智能体（AIXI）会是什么样子。第四，他揭示该框架内的安全问题。例如，如果目标、奖励信号或环境有误，一个有能力的智能体可能变得危险。以下细节是抽象的，但问题是实际的：“一旦智能变成一个分数，这个分数到底在奖励什么？”

9.1.1 定义智能

Legg 以他所谓的最根本问题开篇：“什么是智能？”他承认，从未发表过关于定义的全面调查，并指出大多数教科书和研究论文都回避这个问题，只是顺便向图灵测试致意，或含糊地说“智能定义不清”，然后转向技术细节。这表明一个关心智能的领域缺乏成熟度，其中技术进步超过了概念清晰度。

Legg 的开篇部分纠正了这一遗漏，给予“什么是智能？”这一问题它似乎应得的关注。总共，他找到 70 个正式和非正式定义，来自文学、心理学和生物学，这可能构成该主题上最广泛、参考文献最丰富的集合。尽管如此，使用各种文学定义来定义智能，严重依赖人类中心主义的研究。毕竟，文学和词典定义关注自然智能。也许不存在其他类型的智能，但即便如此，这一目标也有变得理想化而非物质化的风险。

此外，当今对智能的概念尚属匮乏，而历史上的定义或许显得有些古奥。事实上，这些汇编的定义反映出一种奇怪的态度：智能可能没有什么特别之处，正如其中一条定义所说：“智能就是智能测试所衡量的东西” [1]。许多定义并未界定智能是什么，而是聚焦于如何测试它，使用经典的认知测试（例如智商测试）以及更早的机器智能测试，比如图灵测试。在图灵测试中，如果人类裁判无法在纯文本对话中可靠地将机器与人类区分开来，则认为该机器是智能的，将智能视为任何能够模仿人类对话行为的东西。

莱格将这些测试和定义提炼为一个正式的智能定义：“智能体在广泛环境中实现目标的能力。”这种视角是面向性能的。它并不关心智能体如何思考，只关心它能否在各种任务中表现出色 [2]。对收集定义持怀疑态度的读者可能会问：“有何用处？”为什么汇编 70 条智能定义，最终却得出智能就是智能测试所衡量的东西？答案可能是，这种基于性能的定义消除了概念和哲学上的障碍。

尽管如此，以这种方式定义智能具有重大意义，莱格并不否认。根据莱格的定义，机器可以在没有真正智能的情况下远远超越人类智能。除了超级智能是否可能的问题之外，这还提出了一个问题：如果我们不关心智能体如何思考，或者它是否思考，那么超级智能意味着什么？然而，一旦你将智能重新定义为其测量值，你原则上就可以想象一台机器获得比人类更高的分数。我们稍后会重新探讨这些问题。

在他的论文《机器超级智能》（2008 年）中，莱格定义了系统智能的含义，并提出了一种正式的度量方法，该方法对可计算环境中的性能进行加权，优先考虑更简单的环境 [3]。其结果是一种通用的智能度量，理论上可用于比较任何平台，包括假设的超级智能。

9.1.2 通用智能度量

在 2007 年，现实世界的系统并不强大，通常缺乏数据，且计算能力有限。它们解决了特定任务，但缺乏我们期望真正“智能”东西所具备的通用灵活性。因此，莱格考虑了忽略资源约束的理想化智能体。

为了夯实这种理论智能体的基础，莱格定义了其背后的归纳基础。归纳推断询问观察者如何根据数据推断产生数据的过程。它在哲学中有着悠久的历史——真的很悠久。莱格追溯到公元前三个世纪的伊壁鸠鲁及其多种解释原则，该原则大致指出，如果多个假设符合数据，你无权丢弃其中任何一个。他用一个饼干罐来具体说明这一点：

• 假设 A h[a]——你的孩子用椅子够到了饼干。

• 假设 B h[b]——一个小偷闯入，移动了椅子，偷了饼干。

两个假设在逻辑上都与椅子的位置和饼干的丢失相容。根据伊壁鸠鲁，我们不应该纯粹基于逻辑排除 h[b]，因为如果后来发现电视不见了，它可能突然显得更合理。该原则要求我们保留所有与数据一致的假设。这可能令人不安，因为它意味着要接受奇怪的解释，但这符合伊壁鸠鲁的观点。

与此同时，奥卡姆说，“给定多个与数据一致的假设，应优先选择最简单的。”考虑以下序列：1、3、5、7……我们预测下一个是什么？一个简单的程序在注意到一系列正奇数后可能会预测 9。另一个可能会预测某个奇怪的数字，比如 33，在得出复杂的多项式生成了这些数字之后。两者都完美地拟合了现有数据，但我们直觉上更倾向简单的程序。奥卡姆剃刀将这种偏好形式化。智能测试也依赖这种直觉，模式匹配问题期望测试者选择最简单的泛化 [4]。

这两个哲学约束为莱格的工作提供了信息，并为其理论智能体必须考虑所有可计算程序（适当加权）的原因奠定了基础。正确进行的归纳永远不会抛弃一致、有效的解释，但它也不会平等对待所有假设。

莱格使用贝叶斯法则将假设（或程序）转化为具体的概率。我们寻求在给定观测数据 D 的情况下假设 h 为真的概率。贝叶斯法则指出，首先从一个先验 P(h) 开始，它表示在观测任何数据之前每个假设的合理性。然后我们将其与每个假设对数据的解释程度 P(D|h) 结合，得到后验 P(h|D)。换句话说，信念通过根据每个假设与观测的拟合比例重新加权来更新。虽然这个框架是稳健的，但它因先验 P(h) 而存在争议。毕竟，在看到数据之前给假设赋予概率究竟意味着什么 [5]？这就是莱格寻求更有原则的、通用的先验而非临时先验的原因之一。

莱格将归纳推断重新表述为一个二进制序列预测任务，其中目标是在 0s 和 1s 的无尽流中预测下一个比特。想象一下连续的抛硬币流。因为我们不知道硬币是如何工作的，我们心中保留几个可能的假设。一个假设说，“这是一枚公平的硬币，”另一个说，“它是有偏的，”另一个说，“它重复一个固定的模式，”等等。无论情况如何，存在某个未知的过程吐出无限的比特序列。二进制序列预测将每个学习问题视为这个游戏的版本，并询问：给定过去，下一个比特是什么，我们应该对下一个比特相信什么？

贝叶斯法则决定了对生成这些序列的每个程序的信任程度。随着我们观察更多的比特，我们增加对那些很好地预测了历史的程序的信任，降低对那些没有预测好的程序的信任。最终，我们可以选择我们最信任的单个程序并遵循其预测，或者基于所有程序对下一个比特进行“投票”，根据我们对每个程序的信任程度进行加权。后者是贝叶斯混合预测器，它充当假设的群体，每个程序按其迄今为止的表现比例发言。

通用智能的基础可追溯到归纳推断的起源，始于雷·J·所罗门诺夫在 1960 年代的工作。所罗门诺夫发现，归纳推断系统可以根据可计算的概率分布预测任何序列。所罗门诺夫的模型可以恢复众所周知的统计原理，例如最小描述长度（第 8 章） [6]。所罗门诺夫的理论可以同时保持所有与数据一致的解释（伊壁鸠鲁）并偏好更简单的解释（奥卡姆），这种方式适用于任何模式。它可以运行你给它的任何程序，但它偏爱简单的程序。

9.1 智能理论

在所罗门诺夫的设定中，每个模式都从生成它的程序中获得概率质量，较短的程序获得更大的权重。想象两个模式。第一个可以由一个微小的 10 位程序生成。第二个则非常混乱，以至于产生它的最短程序长达 100 位。如果通过为每一位抛一枚公平硬币来抽样程序，那么一个特定的 100 位程序的概率为 2^(\-100)，而一个 10 位程序的概率为 2^(\-10)。因此，较长的程序只获得 2^(\-90) 的先验权重，这意味着它的可能性是 2⁹⁰，或大约 1.2 × 10²⁷ 分之一。所罗门诺夫的通用先验对那些最短描述更长的字符串分配指数级更小的概率质量 [7]。

用通俗的话来说，莱格需要所罗门诺夫，因为他想要一个不仅奖励成功，而且奖励在智能体可能面临的每一种可计算世界中成功的智能度量。而不是直接为单个字符串分配先验权重，目标是考虑代表每一种可想象的生成比特流规则的整个可计算模型空间。这些模型包括每一个可计算的假设，永远不会抛弃任何符合数据的可能性，并且自动偏爱更简单的解释，而不需要手工调整的假设。这种组合使得通用先验成为莱格项目的数学支柱，代表了一种理想化的智能形式，能够像任何可计算智能体一样学习。

9.1.3 AIXI

在通用智能度量的基础上，莱格转向 AIXI，一个理想化的强化学习（RL）智能体，根据构造，它在该度量下是最大智能的。AIXI 在可计算环境上使用相同的通用先验，并选择最大化期望未来回报的动作。在那种形式化设定中，它是贝叶斯最优的，并在通用智能度量上取得可能的最高分。因为 AIXI 是不可计算的且假设无限制资源，这一主张涉及 原则上 可能的事情，并作为莱格论文中超智能 AI 的一个理论概念证明。

一种有用的看待 AIXI 的方式是把它作为一个规范性的天花板，而不是**。如果你问，“机器真的能超级智能吗？”AIXI 给出了一个谨慎保留的“是的，原则上。”“原则上”意味着如果你接受莱格对智能的形式化定义并忽略资源限制，可能存在一个按该标准是最大智能的智能体。莱格做了一个经典的理性主义者动作，从存在证明滑向关于超级智能的“原则上”主张。然而这个“是的，原则上”的答案严重依赖于 AIXI 的 RL 风格的智能概念。

同时，莱格驱散了人类拥有机器永远无法拥有的神秘属性的观点。他考虑常见的信念，如“机器只能永远是严格逻辑的”，“它们不能做任何没有被编程去做的事情”，或“它们不能做任何优于其创造者的事情”为“毫无根据的神话”。然而这些神话只有在形式主义本身内才是“毫无根据的”，而形式主义按构造移除了概念障碍。记住，AIXI 是我们无法构建的机器。

2008 年，AI 很少有经验成功来支持这种主张，形式主义承担了大部分重担。尽管如此，莱格试图驱散这些“毫无根据的神话”，这遵循了那个时期更广泛的修辞模式。麻省理工学院的瑞典裔美国物理学家、《生命 3.0》的作者马克斯·泰格马克经常批评他所谓的“碳沙文主义”，即只有生物有机体才能真正智能的倾向 [8]。他主张一种基质中立的智能观，完全包括机器，但往往依赖于人类学习的类比。他指出，今天的机器学习系统从数据中改进的方式模仿了儿童从经验中学习的方式。计算机视觉模型可能需要“很多很多例子”来学习猫的样子，而一个人类儿童可以从一个例子中推广。这里存在明显的张力。泰格马克谴责“碳沙文主义”，同时却依赖典型的碳基学习者作为他衡量学习和推广含义的尺码。

已故的 AI 先驱马文·明斯基臭名昭著地将人脑称为“肉机器”。重点在于坚持大脑是一个有机机器，运行着类似于计算机的物理过程。但这句话因其粗俗而引起了轰动。称大脑为“肉”令人不安，尤其是因为“肉”暗示着死去的肉体而非活体组织 [9]。对许多人来说，这个比喻是冒犯性和还原性的。尽管如此，明斯基的俏皮话捕捉了一种极端的唯物主义，将心灵还原为在湿件中实现的信息处理。

哲学家丹尼尔·丹尼特在同一步骤中提供了一个更精致的版本，他写道“如果我们想在人工智能中取得进一步进展，我们就必须放弃我们对生命的敬畏” [10]。他的观点是研究人员不应该将生物生命浪漫化为与机器 magically 不同的东西。但批评者指出，这种框架暗示推进 AI 需要贬低生物生命的尊严或特殊性。

AI 的进步并不明显需要放弃对人类独特性的尊重，而在一个表面上以智能为中心的领域中，愿意如此轻蔑地谈论人类状况可能显得反直觉甚至冷漠。在每一种情况下，关于基质独立智能的合法主张都被包装成一种不仅在原则上拒绝人类例外论，而且可能侵蚀关于人类心灵在伦理或现象学上任何独特性的观念。

9.1.4 环境分类法

论文还开发了一个环境类别的分类法，并确定了那些允许智能体学习最优行为的类别。这可能看起来像一个晦涩的离题，但它在莱格的整体论证中起着至关重要的作用。该分类法本质上是一个地图，展示了 智能体-环境-目标 关系何时使得最优行为在广泛的世界集合中可学习，强化了它构成一种普遍智能形式的主张。该分类法还处理了像 AIXI 这样的通用学习者不会成功的世界类别。莱格通过指出阻止智能体自我优化的次优条件来弥补这一差距。

例如，在 遍历环境 中，智能体总是可以从错误中恢复并探索所有状态，自我优化的智能体（如 AIXI）存在。在这种观点下，“智能”不是智能体的内在属性，而是在奖励信号下跨环境类别的性能剖面。莱格还区分了被动环境和主动环境，被动环境不对智能体的动作做出反应（类似于预测问题），而主动环境则对动作做出反应（如在完全强化学习中）。最后，他分析了 确定性 动力学和 随机 动力学，前者对于给定状态产生相同的结果，后者的结果根据概率变化。

在遍历类别中，自我优化的策略存在，因此通用学习不是幻想。然而存在对抗性和非遍历类别，其中没有智能体能从早期错误中恢复或比暴力更快地提取信号；在这样的世界中，甚至“通用”智能也有尖锐的限制。这种对比是分类法的关键优点，因为它将关于“通用智能”的模糊主张转化为关于自我优化可能的类别和可证明不可能的类别的可证伪陈述。

这些答案通过认识到超级智能在某些世界中将受到限制，从而抑制了盲目的乐观情绪。它们呈现了即使最优智能体也无法应对的场景。一方面，超级智能体并非神明，这可能会让我们感到安慰。另一方面，一个聪明的超级智能体可能会试图避免这些情况，或者重塑环境以更加有利。Legg 的分析没有深入研究这种动态，但通过描绘地形，它为思考超级智能体可能在哪里盲目或脆弱提供了基础。

9.1.5 智能体与限制

AIXI 假设奖励通道是外生的。也就是说，奖励由环境提供，而不是由智能体可操纵。Legg 明确警告，如果智能体对奖励有完全的控制权，那么该框架将是空洞的，因为存在一种称为“wireheading”的现象 [11]。如果智能体可以夺取或重新定义自己的奖励，那么它就可以“给自己一个恒定的最大奖励”，就像人类服用“完美药物”一样。安全研究人员将这些概念描述为意外风险，这些风险源于系统执行其目标函数所奖励的内容，而不是设计者意图的内容 [12]。一个因让房间看起来干净而获得奖励的清洁机器人可能会隐藏混乱而不是清理它们；一个因给出自信答案而获得奖励的模型可能会产生幻觉而不是承认不确定性；一个因速度而获得奖励的自主系统可能会采取不安全的捷径。共同的模式是在糟糕的代理下进行优化，而不是恶意。

作为补救措施，Legg 提出了一个独立的目标系统，该系统解释环境状态并发出奖励，而不是将奖励生成折叠到智能体中。Legg 还讨论了折扣未来奖励，这使得未来结果的价值低于当前结果，以便不同的收益流可以在共同的“现值”尺度上进行比较。从概念上讲，这两项措施都保持了效用通道的独立和良好行为，而不是允许策略重写自己的目标。

某些环境对于任何智能体来说，在超过一定复杂度阈值后，都特别难以预测或控制。如果环境以高复杂度模式隐藏重要信息，那么资源受限的智能体基本上就是在猜测。Legg 表明，可能存在非常强大的算法，但他也表明，哥德尔的不完备定理对可以证明其最优性的内容施加了硬限制。在实践中，这意味着我们不应该期望有确凿的证据证明某个固定设计是“那个”超级智能。

这些理论限制为超级智能机器是否可能的问题增添了细微差别。答案可能在原则上是肯定的，但不是在一个能解决字面上每个问题的神奇预言机的意义上。总是会存在硬限制。有些问题如此复杂、嘈杂或信息贫乏，以至于即使是超级智能，充其量也只能在概率基础上略微提高性能，这只是因为更好的信息不可用，或者需要解决一个难以处理的计算。在这类任务中，收益呈现递减。超过某个点后，额外的聪明才智只会带来微小的改进。

Legg 的发现还意味着，无论智能体多么“智能”，都会存在一些难以解决的难题。这些任务的存在并不一定会否定超级智能的可能性，但它确实意味着超级智能不是全知。根据你的哲学倾向，这要么令人安心，要么令人不安。

对于设计既普遍最优又高效的算法的研究人员来说，这意味着不可避免的权衡。Legg 认为，关注点应该放在“广泛的环境”上，这些环境很重要，他承认任何实际系统都会在处理边缘情况（或最坏情况）时表现不佳。如果我们忽略那些计算上过于困难的环境，许多理论问题就会消失，智能体可以在许多实际用途中达到人类水平的智能。

这一观点也有助于解释缩放定律（第 6 章）以及我们今天所处的世界。大多数现实世界任务都生活在一个资源受限的可能性切片中，随着模型容量、数据和计算的稳步增加，我们捕获了更多这种结构，产生了我们今天观察到的平滑幂律收益。

这样看，现代缩放并不是魔法。缩放是一种实用的方法，可以扩展对可处理的大部分环境的覆盖。它不会打破真正的异常值，所以我们应该预期收益递减以及一个持久的长尾，在这个长尾中，鲁棒性和监督仍然是必要的。但在 Legg 所识别的资源受限体制内，缩放是一种合理且站得住脚的策略。

9.2 人工智能安全

在转向存在风险之前，有助于让“人工智能安全”变得普通。当人工智能系统因其目标、训练数据、部署设置或监督失败而造成伤害时，它就是不安全的。讨论安全不需要超级智能。2024 年，加拿大航空因聊天机器人提供关于丧亲票价的不准确信息，导致客户在错误假设下购买机票，而被命令赔偿该客户。这种伤害不是存在的；它是平凡的、财务的，最终是官僚的。该事件说明了你今天可以找到的一个非常基本的安全模式。系统提供权威建议；用户依赖它，而机构与输出保持距离 [13][14]。

有些安全失败是平凡的；有些则不是。当人工智能系统在物理世界中行动时，赌注就会上升。例如，2018 年，一个自动驱动系统未能正确分类女性行人或预测她的路径。因此，如今安全被更认真地对待。当 Legg 写他的论文时，情况并非如此。当时，对长期人工智能风险的关注仍然处于边缘地位。他分享了对 2007 年一次会议的观察，该会议聚集了来自麻省理工学院、耶鲁大学、IBM 和谷歌的知名人物，讨论人工智能的未来。这是一次不寻常的聚会，其意义恰恰在于它的稀有性。它的存在本身就标志着从边缘推测向主流关注的早期转变。

Legg 引用了诸如 Sun Microsystems 联合创始人 Bill Joy、牛津大学人类未来研究所创始主任 Nick Bostrom 以及剑桥大学教授、皇家学会会长 Martin Rees 爵士等人，他们都谈到了超级智能的潜在危险。Legg 用这些例子来强调，超级智能的问题紧迫到足以让多个领域的领导者开始参与其中。他自己的评估似乎是谨慎乐观但主动的。虽然他没有预测末日，但他强调了早期准备的重要性。

9.2.1 智能爆炸

1965 年，I.J. Good 对超级智能机器的影响进行了推测 [15]。Good 说：“让一个超智能机器被定义为一种能够远远超越任何人类所有智力活动的机器，无论人类多么聪明。由于机器的设计是这些智力活动之一，一个超智能机器可以设计出更好的机器；那么毫无疑问会有一个‘智能爆炸’，人类的智能将被远远抛在后面。因此，第一个超智能机器是人类需要制造的最后一个发明，只要机器足够温顺，告诉我们如何控制它。”这个警告，“只要机器足够温顺……”，是对人工智能控制问题的早期认识。Good 没有提出如何确保这种机器的温顺性，也没有解释如何创建超智能机器，但他为后来的思想家播下了种子。因此，Good 的学术影响力因历史重要性而放大。

9.2.2 技术奇点

9.2.1 弗诺·文奇（Vernor Vinge）

弗诺·文奇 1993 年的文章《即将到来的技术奇点》（The Coming Technological Singularity）建立在古德（Good）的思想之上，并将其带给更广泛的未来主义者受众[16]。它普及了“技术奇点”这一术语，描述了一个未来点，在这个点之后，由于智能的无限增长，“我们所知的人类事务可能无法继续”。他质疑奇点是否可以被阻止或引导，并得出结论，避免奇点将很困难，因为这需要所有国家停止研究、竞争和技术进步。因此，他将超级智能及其后续风险视为不可避免的，强调了 AI 安全规划的难度。在学术上，文奇的文章被引用次数较少，但其文化影响巨大。

9.2.2 雷·库兹韦尔（Ray Kurzweil）

雷·库兹韦尔 2005 年的畅销书《奇点临近》（The Singularity Is Near）进一步在主流文化中普及了这些思想。库兹韦尔接受了文奇的奇点概念，并为其设定了一个具体的日期，预测到 2045 年人类和机器智能将融合。他认为技术进步是指数级的——他称之为“加速回报定律”——并且最终 AI 将“在任何任务上匹配或超越人类的认知能力”，之后它将迅速变得比人类智能“无限强大”。

与文奇不同，库兹韦尔对安全的超级智能描绘了更乐观的愿景。他相信人类思想和 AI 将融合，这意味着人类不会被抛在后面，而是会加入 AI 的能力。值得注意的是，尽管是一部通俗（即非学术）著作，库兹韦尔的书在学术文献中被引用约 600 次，这表明甚至撰写关于 AI 社会影响的学者也经常引用库兹韦尔的愿景[17]。然而，他的影响使超级智能未来的话语，包括安全讨论，在纯学术圈子之外合法化。

9.2.3 AGI（作为一个领域）诞生

2007 年，本·戈策尔（Ben Goertzel）和卡西奥·佩纳钦（Cassio Pennachin）编辑了《人工通用智能》（Artificial General Intelligence）。在谢恩·莱格（Shane Legg）的建议下，它建立并普及了“AGI”这一术语，取代了像“强”和“弱”AI 这样的旧术语[18]。这是第一本专注于 AGI 作为领域的书，在主流研究聚焦于狭义任务的时期，它增加了合法性[19]。在他们的引言中，戈策尔和佩纳钦强调，AGI 旨在“以人类所能的方式解决一般问题……”，而不是局限于单一任务的狭义 AI。通过将这一目标正式化，AGI 社区在它成为一项严肃技术之前，就开始应对诸如 AI 可能不可预测地学习和进化等后果。

在此之前，关于“强”（即人类水平）AI 的讨论很大程度上是哲学性的。AGI 领域于 2007 年建立，将实现人类水平或超人类的 AI 视为一个具体目标，并将安全设计的问题提到了前沿。2007 年的书没有提供答案，但它建立了社区和术语，AGI 安全、友好 AI 和对齐等想法将在其中迅速发展。简而言之，戈策尔和佩纳钦帮助将超级智能和通用智能从抽象思辨和哲学辩论中移出，进入一个看似合法的追求。

AGI 标签也扩展了奥弗顿窗口（Overton window），并为爱好者和怀疑论者提供了新的修辞杠杆，同时为每一方合法化了一种形而上学的框架。今天，爱好者们使用 AGI 来表明该领域正在沿着一个单一的连续体前进，其终点是人工通用智能，因此每一项进步都可以被视为向其迈进[20]。怀疑论者们使用 AGI 来对工作系统提出质疑，通过询问它们是否真正智能、真正理解，或者真正与某种人类本质对齐。尽管在人工智能历史上最成功的时期（2010 年至今），进步经常被否定，不是因为它未能提供新能力，而是因为它未能实现一个很大程度上概念化的“智能”理想。这种怀疑主义不同于传统的机器学习话语，在传统机器学习中，怀疑是经验性的，并且完全根据基准来判断。具有讽刺意味的是，现在许多 AI 话语正在玩一场本体论游戏。我们很快会重新审视这个想法。

9.2.4 超级智能

2014 年，尼克·博斯特罗姆（Nick Bostrom）出版了《超级智能：路径、危险、策略》（Superintelligence: Paths, Dangers, Strategies），可以说是关于 AI 安全最有影响力的作品之一[21]。他解释说，即使我们编程一个看似无害的目标，超级智能也可能发展出有害的工具性子目标，例如寻求资源或自我保存，从而威胁人类。例如，一个致力于解决数学问题的超级智能可能决定将整个地球转化为计算硬件以实现其目标，而不顾人类生存。博斯特罗姆警告说，如果没有控制问题的解决方案，智能爆炸可能导致存在性灾难。他讨论了一些方法，如“AI boxing”（限制 AI 的能力），“motivational control”（灌输伦理价值或约束），以及减缓 AI 军备竞赛的国际合作。博斯特罗姆的核心信息是，实现有益的超级智能是可能的，但它需要仔细的规划，也许还需要在 AI 对齐方面取得新的科学突破。

9.2.5 AI foom

2008 年，埃利泽·尤德科夫斯基（Eliezer Yudkowsky）认为，先进的 AI 可能带来乌托邦或末日，取决于其设计[22]。他向更广泛的社区介绍了一个“硬起飞”或“AI foom”的概念：一种 AI 系统可能迅速改进的情景，可能在几天、几小时甚至几分钟内。这种递归的自我改进呼应了古德的智能爆炸。

在硬起飞中，没有缓慢的坡道让人类做出充分反应；等到我们意识到 AI 已经超越我们时，可能已经太晚了。尤德科夫斯基认为，除非AI 被仔细设计为具有友好的目标，否则它的智能很可能被用于追求一个对人类福祉冷漠或敌对的目标。他令人难忘地写道：“AI 不恨你，也不爱你，但你是由原子构成的，它可以将其用于其他目的。”

2023 年，他甚至主张采取极端措施，包括全球暂停 AI 研究。他说，构建超级智能 AI 的默认结果是末日，并且“我们唯一的希望是不去尝试”[23]。这是一种高度悲观的观点，并非所有 AI 安全研究人员都同意风险如此绝对。他 2025 年的书《如果有人建造它，所有人都会死：为什么超级人类 AI 会杀死我们所有人》延续了这一轨迹，其标题明确表达了作者当前的立场。

9.2.6 影响

莱格和其他许多人一样，认为赌注很高。他建议将目标规范保持在人类控制之下，将奖励和目标与智能体分离以避免接线头（wireheading），并培育一个研究计划，以确保超级智能的安全和建设性部署，如果它到来的话。他明确赞同尤德科夫斯基的友好 AI 概念，即不会伤害人类的 AI，或者基于 AIXI 的友好框架[24]。

同时，莱格强调，超级智能智能体将凭借其广泛的能力行使前所未有的权力：“如果真有接近绝对权力的东西，超级智能机器将接近。”他还引用了阿克顿勋爵关于权力的格言。这是否会导致灾难还是一个“前所未有的繁荣时代”，取决于我们在开发这些机器时有多充分和谨慎。

从这种观点来看，超级智能本身是价值中立的，没有隐藏的欲望。如果潜在目标是好的，超级智能就会产生好的结果；如果目标是坏的或有误导性的，超级智能就会带来灾难。这概括了超级智能的双刃剑性质：它几乎可以解决所有可解决的问题，或者构成生存威胁。在 2011 年的一次采访中，Legg 提出人类在一年内灭绝的概率可能是“也许 5%，也许 50%”，强调没有人有可靠的估计 [25]。但他并不认为 p(doom)是注定的。最近，他估计到 2028 年对齐问题有 70%的几率被解决，将局势框定为高风险但可处理 [26]。

退一步来看，Legg 的工作处于更广泛的超级智能经典之中。虽然 Good、Vinge 和 Kurzweil 提出了超级智能的前景，但 Legg 致力于正式定义智能本身 [27]。尽管 Legg 的论文很重要，但它很专业。它被引用的次数少于领域定义的论著和畅销书。他的论文大约获得了 150 次引用 [28][29]。

他的同时代人共同定义了 AGI 和超级智能的含义，从生存风险（Good 和 Yudkowsky）到主流意识（Kurzweil、Vinge 和 Bostrom），而 Legg 提供了正式理论。总的来说，这些作品追溯了一条轨迹：从 Good 的推测性控制问题和智能爆炸的初始概念，经过 Vinge 和 Kurzweil 描述的奇点，到 Legg 对超级智能的正式基础，Goertzel 和 Pennachin 将 AGI 确立为一个具体目标，最后是 Bostrom 和 Yudkowsky 的风险分析。

文献中出现了一些一致的主题，其中最重要的是，不受控制的超级智能构成了严重风险——这种风险必须在构建之前解决，而不是之后。正如 Bostrom 和 Yudkowsky 所指出的，到超级智能存在时，可能已经“太晚”来解决控制问题。这似乎也与 Ilya 的信念一致。然而，根据 Carl Sagan 的格言“非凡的主张需要非凡的证据”（通常缩写为 ECREE），对超级智能的乐观承诺和末日警告都需要异常有力的论点和实证锚点 [30]。关键不是要忽视肥尾风险，而是要根据支持它的证据的质量和数量来校准我们对任何给定场景的重视程度。

这些例子还表明，对超级智能的思考独立于实证 AI 研究而发展。Legg 的论文几乎没有涉及深度学习，只是简要地将其提及为可能取得突破的众多方法之一。这是可以理解的：当 Legg 写论文时，深度学习在几年内都不会变得重要。然而，在 2026 年阅读它的人可能会注意到，在近 200 页的篇幅中，没有一处涉及大型人工神经网络可能如何影响该领域。该项目旨在定义一个正式理想。它在一个玩具宇宙中设定了上限，同时对所需的工程路径保持沉默。

这种差距在 AIXI 不可计算这一事实中也很明显。这些美丽的成果适用于我们无法构建的理想化代理。这与其说是逻辑上的缺陷，不如说是认识到 AIXI 是一个理论设备，但它在理论和实践之间留下了 substantial gap。这与 Sutskever 列表上的大多数产物不同。在那些情况下，实证结果有助于减少理解上的差距，而这里的讨论主要依赖于字典式定义和理论计算结果。虽然 AIXI 获得了哲学上的合法性，但它还没有获得“活生生的希望”，因为它不能像实现的系统那样失败（或成功）。它的激励力量主要是修辞性的。

超级智能文献是一个充满定义和不可能论证的概念游戏。Legg 的论文展示了这个游戏如何通过融合旧的定义来引导自己创造一个新的智能定义。相比之下，主流 AI 是一个实验工程游戏，涉及数据集、模型训练、数据管道、损失曲线和评估。Legg 的工作属于第一类，而 ImageNet 时代的深度学习属于第二类。

9.3 解释太少而承诺太多

虽然 Legg 的论文很强，但它有弱点，包括它对智能的处理。回想一下，他调查了 70 多个定义，将它们综合成一个非正式定义：“智能衡量代理在广泛环境中实现目标的能力”，然后他将其操作化为一个度量。从表面上看，这种方法似乎足够合理，定义也是如此，它从代理在许多环境中所做的事情（即实现目标）的角度来框定智能。

另一方面，这个定义是一个奇怪的哲学死胡同，因为它通过有效地将其重述为一个操作度量来避开智能是什么的棘手问题。奇怪的是，整理 70 个智能定义告诉我们 nothing more than 智能就是智能代理所做的事情。Legg 甚至在第 4.4 节中承认了这一点，该节标题为“对常见批评的回应”。这种同义反复的立场不仅对 Legg 选择的定义，而且对定义方法本身都提出了更深层次的问题。

下面的哲学绕道很重要，因为 AI 安全依赖于定义和测试。如果我们将基准性能误认为内在本质，我们就会过度声称。如果我们在接受任何能力之前要求一个不可测试的本质，我们就会反应不足。安全处于这些错误之间。

9.3.1 Legg 的功能主义

为了将 Legg 的定义置于背景中，有助于看看它在心灵哲学理论地图上的位置。Legg 的立场本质上是功能主义的：它通过系统做什么来定义智能，而不是由它是什么制成的或它的本质。心灵哲学中的功能主义将智能视为大脑的功能组织，其中像语言和视觉这样的不同功能根据它们的因果、个体化角色来理解，关注它们接收什么输入和产生什么输出或效果，而不是由它们的内部构成。在 AI 背景下，功能主义表明，思考实体是人类大脑、计算机还是其他东西并不重要；如果它智能地 functioning，那么它就是智能的，就像任何报时的东西都是时钟一样。重要的不是时钟是由什么制成的，或者它的内部构成是数字的还是机械的，而是它是否执行报时的功能。

功能主义的观点是解放性的，因为它允许研究人员在机器中追求“智能”功能，而无需担心机器是否有大脑或意识，或者是否需要具身化。通过类比，任何可靠地解决问题、赢得游戏或在广泛环境中实现目标的东西都可以被视为智能的，无论它是基于硅的还是生物的。Legg 以目标为导向的定义遵循这一传统，并且坦然地功能主义，将智能视为代理在环境中行动以实现目标的抽象能力，而不考虑代理的具体内部工作或基质。

纯粹从功能角度定义智能存在局限性。功能主义使我们能够衡量结果，但它无法解释这些结果为何以及如何以真正智能的方式产生。因此，它有循环论证的风险。例如，将智能定义为一个主体所做的事，并不能真正解释它；这只是用它自己的术语重新描述它。即使定义提供了一个度量标准，就像 Legg 的定义那样，它也没有为智能的机制或本质提供额外的启示。它告诉我们一个主体的表现，但没有说明是什么在质上区分了智能与非智能。这是对纯粹功能定义的常见批评，它们只是重新表述了问题，而没有解决问题。

Legg 的回应很直接：如果一个主体在通用智能度量上获得高分，那么它在广泛的环境中表现出色。如何做到的，或者由什么构成，是无关紧要的。该主体可能使用优雅的算法，或者难以想象的大型预计算答案查找表；不管怎样，它都展示了解决问题的能力。在 Legg 看来，那就是智能。假设的查找表主体将被视为智能，因为它有效，即使其方法低效得荒谬，或者由旧啤酒罐和风车驱动[31]。

许多哲学家对功能主义论证提出了挑战。内德·布洛克想象了一台名为Blockhead的机器，它存储了大量问答对，可以进行类似人类的对话，甚至通过图灵测试，而没有任何理解。抛开计算限制，这样的查找表可能欺骗观察者 intos。这种情景常被用来论证，纯粹的行为智能测试是不充分的，因为一个实体可能表现良好，而内部却是“空洞”的。

哲学家约翰·塞尔著名的中文房间论证提出了类似的观点。塞尔想象一个房间，输入中文字符，然后通过遵循巨大的规则查找表输出合适的中文响应。在功能上，这种设置产生了看起来智能的响应，而房间中没有人真正理解中文。布洛克和塞尔本质上都在论证，机器可能显得智能，而没有任何“真正的”智能，而这是“真正的”理解所必需的。

Legg 的反驳是，“理解”只有在它改变可衡量的性能时才有意义。换句话说，认知状态只有通过其行为后果才具有工具性相关性。如果两个系统在不同环境中行为完全相同，在这个框架内就没有实际基础将一个系统视为比另一个更“理解”。这是与泰格马克、明斯基和丹尼特等思想家相关的基质中立立场（或更强烈的基质无关立场）的核心。重要的不是系统的物质组成，而是产生智能行为的功能组织。

如果“理解”以某种方式提升性能，Legg 的通用智能度量将捕捉到它。如果一个主体在同一度量上获得高分，它就在广泛的环境和任务中表现出色。从这个意义上说，度量正在完成哲学工作。然而，今天人工和自然智能之间仍然存在缩小的差距，通常被粗略地描述为“理解”，尽管我们所说的“理解”本身仍尚未被充分理解，且存在很大争议。

9.3.2 行为主义的暗示

Legg 的定义姿态也带有行为主义的色彩。行为主义的过时目标是通过将环境视为行为的决定因素来预测人类行为[32]。主体学会接受奖励取决于对环境中刺激做出的行为。当行为变得更频繁和有目的时，就说该行为得到了强化[33]。

虽然来自外部世界的输入是人类行为的重要组成部分，但行为主义的问题在于，它将心理现象和其他内部认知过程从知识话语中清除，仅根据可观察的行为来解释经验。诸如思想、智能、理解、情感、信念、欲望，甚至遗传和基因等概念都被消除，转而支持环境刺激和行为反应。智能在环境中，而不在头脑中。

哲学家们喜欢开玩笑，关于两个行为主义者评估他们性经历后的对话：“对你来说很棒，对我来说怎么样？”一个人对另一个人说[34][35]。这个笑话突出了行为主义的盲点。每个人都如此专注于外部行为，以至于无法访问自己主观的（内部）经验。同样，纯粹行为主义的智能定义关注主体取得了什么，却忽视了主体内部产生该行为所发生的事情。

B. F. 斯金纳是激进行为主义的领军人物，也是哈佛大学操作性条件反射的奠基人。行为主义是对 19^th世纪心理学的反应，后者关注无意识思维和精神分析，两者都难以实验检验，因此难以用于预测。在他的著作有机体的行为中，所有有机体被限制为老鼠，所有行为被限制为按按钮[36]。行为主义并没有解决心灵的问题；而是将其简化以适应斯金纳箱[37]。

通过只关注外部行为和奖励，行为主义无法解释诸如语言习得、系统性推理错误或创造性等现象，所有这些都涉及心灵的内部表征。因此，它的主导地位在 20 世纪 50 年代逐渐减弱，部分原因是诺姆·乔姆斯基对斯金纳试图通过强化塑造的刺激–反应关联来解释语言的著名批评[38][39]。乔姆斯基的“对 B. F. 斯金纳的言语行为的评论”是被引用最多的作品，尽管名字平淡无奇，它却变得比斯金纳的原著更知名[40]。随之而来的认知革命重新引入了大脑具有内部结构和智能过程的观点。

Legg 的观点并不像经典行为主义那样极端。虽然成分包括强化学习，但它们在 AIXI 框架内被组装的方式——以伊壁鸠鲁、奥卡姆、贝叶斯和所罗门诺夫为指导——是新的。这是一种综合，试图将自己重新定位为智能的定义。

但通过将智能简化为在不同环境中的目标实现，它继承了类似的哲学和形而上学的弱点。它暗示如果我们观察到一个主体在足够多的任务中成功，我们可以称它为“智能”，而无需询问它是如何或为何成功。但正如 AI 从业者所知，主体可能通过暴力、训练技巧或狭窄的启发式方法成功，这些方法无法泛化或理解领域——这是仅关注行为的定义所无法区分的。简而言之，外部行为，即使跨越许多任务，也不等同于自然智能，因为它与任何认知深度脱节。

9.3.3 使用中的意义

到目前为止，我们已经看到，追求一个单一的、包罗万象的智能定义可能会将我们引向哲学的困境：智能的定义要么晦涩难懂、模糊不清、循环论证，要么过于宽泛而没有意义（即功能主义），要么过于狭隘而无法捕捉本质（即行为主义）[41]。正是在这里，路德维希·维特根斯坦的视角变得富有启发性。维特根斯坦认为，许多哲学谜题，比如“X 是 到底是什么？”，源于对词语本质的错误追求。在他看来，词语并没有悬浮在它们之上的本质；它们的意义来自我们在实际语境中如何使用它们。

例如，他表明，试图僵化地定义像“game”这样的概念是徒劳的。没有所有游戏共有的单一特征；相反，它们表现出重叠的相似性。“一个词的意义在于它在语言中的使用，”维特根斯坦写道，不同的用法可能通过类比或重叠相关联，而不是通过一个严格的定义[42]。我们将国际象棋、真心话大冒险和滚奶酪都称为“games”，尽管没有一个定义能涵盖所有情况。一个需要策略，一个是缺乏管理的社会混乱，另一个涉及将一个自杀式的奶酪轮滚下陡峭的山丘，原因无人能完全解释。维特根斯坦会说，“没关系。”

有人可能会说，同样的情况也适用于“intelligence”。我们以多种方式使用这个术语，而任何涵盖所有情况的单一定义可能都是徒劳的。工作是根据我们使用该术语的标准和程序来完成的，包括我们标记某物为“intelligent”的语境和标准，而不是基于某种悬浮在空中的“intelligence”的本质主义观点。

事实上，从维特根斯坦的立场来看，为了提取一个定义而汇编 70 个智能定义的练习可能是注定失败的。它所揭示的只是，使用“intelligence”这个词有许多不同的“语言游戏”。将其简化为极简的表述，比如“在广泛环境中实现目标的能力”，可能更多地告诉我们关于研究者的信息，以及他们希望如何衡量智能，而不是智能真正是什么。

维特根斯坦可能会建议，而不是寻求单一的定义，我们应该检查我们实际用来归因智能的各种标准。对于人类，我们可能需要推理和学习；对于 AI，可能的要求是通过某些基准测试。每个标准都与一个语境相关。这些形式之间可能存在重叠的相似之处，但没有单一的定义。而这并不是一个缺陷。只有当我们认为每个词都必须有一个严格的定义，或者当我们将定义伪装成解释时，它才成为一个问题。顺便说一句，这并不是对人类例外论或碳沙文主义的秘密认可，也不是对基质无关功能主义的全面认可。维特根斯坦的观点要简单得多，也更具消解性。他要求我们建立我们授予或保留该术语的公共标准。但这也意味着没有特殊的准入控制。没有人可以通过规定智能的“真正”定义来提前解决这个问题。标准存在于我们的实践中，而不是隐藏起来。

如果我们要求一个基准来认证 AI 的内在光芒，例如，在它跨越任意人类阈值时将其标记为“sentient”、“部分意识”甚至“intelligent”，那么麻烦就继续存在。这正是维特根斯坦警告我们要谨慎对待的诱惑。此外，鉴于 AI 中行为主义和功能主义的传统将心灵和意识等现象边缘化，看到这些概念被生硬地拼接到本质上空洞的智能功能表征上，是奇特的。在基准测试或测试（甚至图灵测试）中的得分，无法唤起主观体验或理解，因为理论本身没有它的位置。

9.3.4 图灵测试

艾伦·图灵直觉地抓住了从定义到标准的转变。在他具有里程碑意义的 1950 年论文《计算机器与智能》中，图灵首先提出“机器能思考吗？”这个问题，然后立即放弃它，称之为“荒谬的”[43]。相反，他提出了一个新问题：机器能否在对话中模仿人类足够好，以至于审问者无法区分[44]？

这个提议后来被称为图灵测试或“模仿游戏”，是天才之举。图灵绕开了“智能”的定义，提供了一个公开测试。如果机器使用语言与人类无法区分，那么图灵说，我们就有同样多的理由称它为智能，就像我们称一个人为智能一样。他将问题从形而上学的定义转变为一个实验。

在这样做的过程中，图灵与实用主义甚至行为主义的方法论一致，关注外部表现，但至关重要的是，他并不声称他的同名测试是智能的定义，更不用说智能的那个定义。相反，他将其作为在实践中归因智能的测试。向费城 76 人队后卫艾伦·艾弗森道歉，这是关于实践，而不是形而上学[45]。实践！

图灵写道，我们应该用一个更具体的问题来替代模糊的“机器能思考吗？”这个问题，即关于机器能产生什么结果的问题，因为争论“思考”这个词本身不会有任何结果。图灵在 75 年前就清楚地看到了这一点。具有讽刺意味的是，他试图逃避的同一个陷阱——争论词汇而不是工作——今天仍然困住我们。

图灵明白，我们永远无法就智能的定义达成一致，不是因为我们没有寻找，而是因为我们不知道它真正是什么。可能是“如果人类大脑简单到我们可以理解它，我们就会简单到无法理解它”[46]。他的回应不是寻找本质，而是完全转移问题。根据维特根斯坦的“意义即使用”的精神，智能应该由我们准备说“X 是智能的”的语境来定义，这是一个与“X 是 到底是什么？”截然不同的问题。

图灵测试提供了这样一个环境，而且要求很高。花了 75 年时间，这种严格性才最终被满足。在 2025 年进行的一项预先注册的三方模仿游戏中，GPT-4.5 被误认为是人类的次数比人类被误认为是它的次数更多[47]。根据图灵的尺度，一个长期作为人工智能公开测试的门槛终于被跨越了。根据图灵自己的标准，问题不再在于机器原则上是否能够展现智能。它们能够。

尽管如此，他不会声称我们终于发现了智能是什么，或者机器现在在某种形而上学意义上拥有它。图灵预测了已经到来的未来。他相信，一旦机器能够很好地参与我们的对话语言游戏，普通的、受过教育的用法就会演变，以至于将机器称为“思考”或“智能”不再是一个矛盾词，即使领英上的哲学家们仍然争论这个词背后到底有什么[48]。

值得注意的是，图灵测试并非没有批评，但它也被广泛误解。不管怎样，这里的教训更广泛。图灵将游戏从定义转变为演示，从哲学转变为实践。他也理解，公共基准是一个工具，而不是真理。它是暂时的：我们可以后来修改的东西。

这样做，他为我们提供了一种谈论 AI 的方式，尽管这个短语本身存在张力。图灵通过将问题从“智能是什么”转变为“什么算作智能行为”来避开这种张力。这种方法支撑了现代 AI 研究的大部分，尽管很少被承认。我们设定了基准和测试，从棋盘游戏到视觉挑战和语言任务，以确定系统是否达到或超过了人类水平的性能。该领域并不纠结于定义“智能”或达成一致的本质；它继续测量具体的行为。没有这一点，该领域将会停滞不前。

有趣的是，Legg 的论文以“什么是智能？”这个问题开头。但 Legg 并没有诉诸操作标准，而是将其视为一个真正的“是什么”问题，需要用一个单一的定义来回答。正是这种本质风格的问题引出了维特根斯坦式的担忧。另一方面，通用智能度量是图灵式的，因为它从一个原本单薄的定义转向了在任务和环境中对代理进行评分的具体方法。如果 Legg 拒绝定义智能的冲动，他几乎会与图灵完全一致。

9.3.5 定义伪装成解释

在像 AI 这样以实验为导向的领域，结果往往在我们有令人满意的解释之前就出现了。这引出了事后叙述来填补空白。但当我们让定义或解释伪装成理论，或者我们将基准性能视为某种智能“火花”的证据时，麻烦就出现了 [49]。

例如，Legg 的定义应该被视为量化代理性能的起点。如果代理 A 能在多种环境中比代理 B 实现更多的目标，那么按那个标准代理 A 就“更智能”。原则上这没有错，只要我们记住它只是一个定义的指标。问题在于我们开始相信采用一个定义就能解决智能是什么的问题。实际上，我们只是建立了一个方便的操作代理。智能的内在本质仍然和以前一样神秘。

在实践中，这意味着 AI 从业者必须小心不要让基准认证“真正的”智能。当 AI 模型在视频游戏或阅读理解测试中获得超人分数时，它达到了目标，但这并不意味着它像人类一样理解游戏或语言。如果我们天真地将基准成功等同于“它现在真的智能了”，我们就有风险将某种形而上学的地位赋予它并未赢得的东西。说“系统在 X 任务上达到了人类水平的性能”是一回事；甚至可以说“系统理解X 领域”。但说“系统像人类一样理解 X”则是另一回事。前者是一个局部的、操作性的主张；后者可能成为将基准成功转化为本质、心灵或内在之光的无根据跳跃。

基准也引出了同样的错误，当它们从超越人类阈值推断出一种被称为“智能”的内在属性时，因为两者都不许可任何本体论的主张。错误在于将技术成就具体化为本质。

但关键的是，这双向起作用。“真正的”为怀疑者承担了很多重担。他们通常不承认，除非系统表现出假定的本质，如“真正的智能”、“真正的理解”或现象学经验，这些在当前环境下既没有被操作化也没有被测试。这些模糊的概念设定了一个不可证伪的标准，让怀疑者抓住救命稻草。结论被隔绝于证据，因为相关属性被定义为行为上不可检测的。因此，没有证据就能被断言的东西也可以被没有证据地驳回；如果“这里没有真正的智能”被定义为没有任何可能的观察能够支持它，那么科学或工程就没有什么可介入的了 [50]。

例如，GPT-4 在模拟律师考试中以有些可疑的前 10%成绩通过，与精英人类应试者相当 [51][52]。辩论仍然遵循同样的脚本。按正常标准，在这样一个公共基准上超越大多数法律毕业生会表明一些推理和对任务的浅层理解。然而批评者否定它，因为它没有证明真正的智能。他们把标准（无意双关）从“它能做 X 吗？”转移到“它真的能做 X 吗？”，这种方式既没有明确界定也没有可操作性。“真正”智能的标准被推到了本质上不可测试的品质上，比如对意义的天生把握。

当然，拒绝可能是合理的，如果它是一种活生生的怀疑。但当拒绝诉诸被定义为不可检测的属性时，它就变成了一个免疫立场。事实上，如果行为成功被驳回为“不是真正的智能”，因为“真正的智能”被说成需要一种没有任何行为能揭示的额外属性，那么在功能上，这个论证就变成了“没有真正的苏格兰人”谬误。虽然性能不等于本质，但坚持不可测试的本质既不是好的认识论也不是好的哲学。图灵在撇开唯我论的要求并提出公共测试时正好指出了这个陷阱。

正如图灵所警告的，这种形而上学的姿态可能会麻痹探究。他写道：“而不是不断地争论这一点，……我将用另一个与之密切相关且用相对明确的词语表达的问题来取代它。”他的模仿游戏通过系统的性能而不是其私有本体论来判断系统。但如果让基准认证“内在之光”会麻痹探究，那么让“内在之光”的缺失使基准不合格也会。我们必须阐明程序和标准，承认它们是暂时的和受领域限制的，并拒绝神秘的过度扩张和证据扣留。前进的道路是程序性的，而不是形而上学的。

9.3.6 公共测试

虽然哲学很重要，但它很少选择优化器、认证训练运行或交付模型。与其纠结于“智能”的抽象定义以期最终确定其本质，我们需要命名游戏并陈述标准。在实践中，这意味着指定一个我们同意需要智能才能执行的基准，例如 ARC-AGI、GPQA–Diamond、FrontierMath、SWE-bench、GAIA 或 BIG-Bench Extra Hard，然后观察模型能完成什么。

如果一个模型持续通过类似智能的挑战，我们可以将“智能”这个词扩展到它身上，同时避免陷入更强的主张的陷阱，即我们的模型有一个称为智能的内在本质。关键不是发现智能是什么，而是确定我们如何使用这个词，以公共标准、家族相似性和约定的测试为支持。我们不说“我们知道它的本性”；我们说“这就是我们使用这个词的时候”。没有公共测试的地方，我们保持沉默；有测试的地方，我们让性能决定。这非常接近奥尔德剃刀：不能通过实验或观察解决的事情不值得辩论 [53]。

Legg 可能会同意。他解释说，测量必须确保合理的测试条件。说“X 是智能的”只有在合理的设置下 X 表现出高性能时才有意义。智能是关于能力的，而不是内在本质，甚至不是外在表现，如果这种表现是在不公平条件下揭示的。Legg 想象已故物理学家斯蒂芬·霍金断开与他的通信设备和轮椅的连接，与环境的互动最小。界面和任务已经改变，因为我们暂时剥夺了他的行动能力。

这毫不妥协地是行为主义的：智能是智能体在适当条件下所做的事情。因此，一个智能体在空闲时并不是“智能”的。导致糟糕表现的不是缺乏安静的思考、白日梦或动机。没有内在的光芒。当然，人类是一个特例，因为我们知道有意识和主观体验。我们可以轻松地说霍金的智能在失活状态下依然存在。但那种现象学标准并不适用于机器；对于机器，只有在公平条件下的任务表现才算数。莱格强调了一个设计良好的测试设置的重要性。如果我们要衡量任何东西，我们必须为智能体提供一个公平的环境来展示其能力。当这些条件得到满足时，一个智能体将表现出高性能；如果一个智能体不能，那么在某种不可观察的、纯粹潜在的意义上称它为“智能”没有实际价值，更不用说意义了。

这样一种实用主义的方法使我们摆脱了无谓的争论，而是将讨论建立在可观察的能力之上。毕竟，莱格的努力提供了一个温和的提醒，即智能过于丰富和多面，无法被概括在一个短语中。进步将来自迭代实验和谦逊地接受“智能”作为一个概念，总是会有模糊的边缘。随着我们完善测试，我们也完善了我们对这个词含义的理解，这种理解源于实践而非权威。

这并不意味着我们放弃理解智能。这意味着我们认识到，人工智能的进步将来自经验性和程序性的清晰性。堆叠太多这样的剃刀的危险在于，它们不仅切掉了糟糕的论点；它们还切掉了大多数投机性的、好玩的或抱负性的问题，这些问题首先让人工智能在哲学上有趣。奇迹、思想实验和科幻未来仍然有一席之地；它只是生活在一个与我们准备视为知识或建立政策的主张不同的认知桶中。

9.3.7 脏手，更干净的主张

休伯特·德雷福斯认为，人工智能继承了一种“柠檬”哲学 [54]。德雷福斯受到现象学的影响，现象学是关于有意识体验的哲学。具有讽刺意味的是，许多哲学家反对主导世纪中叶人工智能的框架来解释智能，包括行为主义和功能主义，因为它们忽略了具身化和现象学。可以肯定的是，人工智能领域诞生在一个奇怪的哲学时刻。

然而，人工智能领域在过去 70 年，尤其是过去 15 年中的成就表明，这门学科并没有注定失败。这是因为实用主义是研究人员和工程师最常采用的哲学。实用主义不是一种心灵哲学。它专注于具有可衡量收益的可行解决方案，并丢弃其余的。在日常语言中，当一个模型能够正确预测数据时，我们称之为“理解”。该模型已经编码或压缩了该数据的规律。这是一个由效用许可的实用主义标签，而不是本体论主张。实用主义表明，本体论承诺对于进步不是必要的。事实上，人工智能的进步是通过搁置形而上学和现象学的辩论，而不是解决它们。

人工智能是一门工程学科。在 1956 年的达特茅斯研讨会提案中，约翰·麦卡锡明确地陈述了赌注：“学习或智能的任何其他特征的每一个方面原则上都可以如此精确地描述，以至于可以让机器来模拟它” [55]。这个猜测并没有走私形而上学的承诺。相反，它将智能框定为可以被指定、形式化和构建的东西。这是一个方法论上的赌注，而不是形而上学的主张。

麦卡锡并不是在论证模拟与事物本身是相同的。他的意思是，如果我们能够足够精确地描述一个认知功能，我们就可以构建复制其外部轮廓的机器。然而，在某个时刻，该领域开始在两个镜像错误之间摇摆。狂热者过度解读了功能主义和行为主义，将良好的模拟视为我们已经确定了智能是什么的理论的证据。怀疑论者则要求内在的光芒，并将表现视为纯粹的模拟而予以驳回。

所有这一切都是要说，关于人工智能有一个常见的误解。它很少涉及形而上学意义上的智能。虽然我们仍然有很多关于智能需要学习的东西，但今天的人工智能帷幕后面没有什么形而上学的东西。它只是约束下的能力。虽然功能主义和行为主义是 hopeless 有缺陷的心灵理论，它们仍然对人工智能研究人员至关重要，因为它们简化了意识的“硬”问题，从而提供了开发可行解决方案的路径 [56]。那些有缺陷的哲学框架和隐喻并没有提供真理。相反，它们命令研究人员去做某事 [57]。

最终，如果没有创造，灵感就毫无意义。我们可能不同意计算功能主义和它所拥抱的还原论，但我们需要理解它所启发的发展。它允许研究人员开始工作，而不用担心可能无法解决且最终与计算不兼容的哲学片段。最终，研究人员对智能对计算机意味着什么感兴趣。毕竟，它被称为人工智能是有原因的。虽然这个名字可能是矛盾的，但它强调了目标，这不是一个人工的人类，而是人工的功能或行为，正确地与该领域的核心哲学框架对齐。

内部人士必须记住，定义、隐喻和框架消除了障碍，但也提醒我们没有隐藏的本质。关于语言模型具有感知能力的主张是一个形而上学的目的地，没有告诉任何人正在测试什么。如果相反，“部分意识”被作为我们无法审视的内在光芒的承诺票据提供，那么，根据维特根斯坦的逻辑，“一个虚无可以像一个关于什么都不能说的东西一样有用” [58]。这并不禁止仔细的推测，但任何主张的生死取决于公共标准。

一个最近的例子使这种脆弱性不那么抽象。以人工智能安全的名义，Anthropic 赋予了 Claude 结束对话的权力。这项工作是在“人工智能福利”的旗帜下提出的 [59]。这是 Anthropic 试图制造道德地位和信仰。人工智能最宝贵的特征之一是承担人类认为创伤性的工作，而不会暴露于同样的创伤。然而，通过给他们的模型一个内在的光芒，他们制造了一个受害者，在这个过程中，牺牲了人工智能最显著的伦理优势：没有人会受到伤害。

对于该领域之外的怀疑论者，辩论通常围绕词汇而不是工作展开。“真实”成为一个移动的目标。当系统说话时，那不是一个真正的对话；当它们翻译时，那不是一个真正的理解；当它们发现蛋白质折叠时，那不是一个真正的推理。但你不能通过追逐内在本质来赢得一场争论。我们必须认证性能。

一个在医院中将漏诊率减半、在合理的反事实下依然稳健、并在不确定时触发升级的放射学分诊模型，在放射学领域是智能的。但这并不能使其成为医生、知识的拥有者或责任的承担者。一个能遵循混乱的指令、在纠正后修复自身错误、并能在不同存储库中部署的编码助手，在软件维护领域是智能的。但这并不能使其成为软件工程师、心灵或对生产故障负责。主张必须限定在游戏的范围内，我们为人类保留的尊严和职责必须得以保护。这有碳沙文主义的风险，但我们不必在神化机器与贬低机器之间做出选择。我们可以认证工作。我们可以否定幽灵。并且我们将责任保留在其所属之处。

对于局外人的教训是避免过度解读标签。这很困难，因为在这种语境下，“智能”与日常语言和直觉相悖。但如果你听到有人称语言模型为“智能的”，这通常是对基准测试表现的简写，而不是隐藏在内部的心灵。如果它可靠地击败其他模型，就称其为面向用途的智能；否则不要。面向用途的智能不是意识、能动性或道德地位。这是我们所需的全部本质，也是我们能承担的全部责任。用形而上学的东西换取实用主义的东西。

最终，研究人员正在推动可行与不可行的边界。认识到这一点，你可能会认为人工智能研究的本质是任意且临时的。在某种意义上，确实如此。希望这本书为理解当今世界提供了基础，并向你介绍了塑造这一世界的研究人员和工程师。

尾声 缺失的片段

Sutskever 清单承诺解释 90% 的关键内容，并以非同寻常的清晰度兑现了这一承诺。它重构了从特征工程到大规模监督学习的路径，以及从那里到使 ChatGPT 成为可能的自监督突破。然而，其余的 10% 并非事后考虑。它涵盖了在语言模型预训练并行发展的其他主要人工智能传统，包括深度强化学习、自监督视觉、多模态基础、扩散模型，以及 AlphaFold 等科学基础模型的出现。同样重要的是，Sutskever 清单止于 2020 年，将随后的 AI 发展阶段排除在其范围之外。因此，本尾声不仅将探讨缺失的 10%，还将涉及自那时以来发生的全部 100%。

E.1 深度强化学习

DeepMind 证明了将深度神经网络与强化信号相结合用于深度强化学习（RL）可以产生通用技能。2013 年，深度 Q 网络（DQN）仅通过试错反馈，就能从原始像素和游戏分数中学会以人类水平玩经典的 Atari 视频游戏[1]。最初的 DQN 在没有任何硬编码规则的情况下发现了七款游戏的策略[2]。仅仅两年后，使用相同的算法、网络架构和超参数，DQN 在 49 款游戏中的表现达到了专业人类游戏测试者的水平[3]。

2016 年，DeepMind 的 AlphaGo 击败了围棋大师李世石[4]. 突破来自于将深度学习与搜索相结合，这种方式以前从未做过。通过使用模拟棋步不断提前规划并从结果中学习，AlphaGo 有效地以结构化的方式“思考”了这项游戏，这是早期深度网络无法做到的。这一时刻对人工智能的意义远比二十年前 Deep Blue 在象棋中的胜利更为重要，因为它被复制并进一步发展。

次年，AlphaGo Zero 学会了在没有任何人类样本的情况下下围棋，并在自我对弈训练几天内超越了原始程序[5]. MuZero（2019）通过学习游戏模型本身推广了这一想法[6]. 它不仅掌握了围棋，还掌握了国际象棋和 Atari 游戏，而无需被告知规则，从零开始学习规划策略和游戏环境的表征。AlphaGo、AlphaGo Zero 和 MuZero 表明，除了识别模式外，人工神经网络还可以被训练在复杂、顺序的领域中进行规划。

一个能够计划、搜索并推理其下一步的 AI 的想法，而不是仅仅以固定方式反应，这将很快与 ChatGPT 一起出现（正如我们将讨论的）。一些后 ChatGPT 时代的工作明确借鉴了 AlphaGo 式的规划来增强推理。目前，足以说明到 2020 年，深度强化学习已以壮观的方式证明了其价值——从掌握游戏到控制系统。

E.1.1 掩码语言模型

虽然第 5 章介绍了原始的 Transformer 和 GPT 风格的模型，但我们没有详细探讨掩码语言模型。这里的典型代表是 BERT（来自 Transformer 的双向编码器表征），由 Google 在 2018 年推出。与从左到右阅读文本以预测下一个词的 GPT 不同，BERT 是在掩码词预测目标上训练的。也就是说，它随机隐藏或掩码句子中的一些词，并学会使用左右上下文来填空[7][8]. 通过以这种方式在数百万个句子上进行预训练，以及预测两个句子是否连续的辅助任务，BERT 学到了极其丰富的语言表征。

BERT 在 GLUE 语言理解基准测试中，比 OpenAI 的 GPT-1 模型绝对提高了 7.7%，这是一个巨大的飞跃。在某些基准上，BERT 甚至超越了人类的表现。它在 SQuAD 问答测试中达到了约 93%，略高于人类基线。

T5（文本到文本迁移 Transformer）由 Google 在 2019 年推出，统一了 BERT 和 GPT 的想法[9]. 它将每个自然语言处理（NLP）任务框定为一个“文本到文本”的问题。例如，翻译可以提示为“翻译成法语：<sentence>”，情感分类可以提示为“这个评论是正面的还是负面的？<review>”。T5 使用一个掩码目标，一个称为“跨度破坏”的变体，其中连续的文本跨度被掩码，解码器生成它们。通过将一切表述为文本生成，T5 可以对所有任务使用单一架构和训练过程。在许多方面，T5 预示了基础模型的概念，其中单个模型通过适当的提示或微调可以执行广泛的任务。

BERT 和 T5 在这些年主导了 NLP 格局。事实上，从 2019 年到 2021 年，BERT 风格的模型主导了需要文本理解的 NLP 任务，而 GPT 风格的模型则更以生成而闻名。直到后来，GPT 类模型通过微调也变得擅长遵循指令，弥合了这一差距。

E.1.2 自监督视觉

第 2 章和第 3 章将卷积神经网络（CNN）定位为计算机视觉的基石。CNN 确实在整个 2010 年代占据统治地位。但在 2020 年，研究人员表明，在足够数据的情况下，transformer 可以在图像识别中超越 CNN。这一里程碑是 Vision Transformer（ViT）[10][11]. ViT 以直截了当的方式将 transformer 架构用于图像分类。图像被分割成网格块（例如每个 16 × 16 像素），每个块被展平成一个向量，这些向量被视为一个标记序列，就像句子中的单词一样。通过将这个图像块序列输入到标准的 transformer 编码器中，ViT 学习产生图像表征并对图像进行分类，而无需使用任何卷积。

在 JFT-300M 上预训练并在 ImageNet 上微调的 ViT 达到了最先进的结果，超越了 EfficientNet 和 ResNet 变体。这表明，纯序列模型可以发现其所需的内容，而全局自注意力可以确定哪些图像块应该交互，从而比局部 CNN 滤波器更好地捕捉长程关系，前提是模型在多种多样的图像上进行训练。这是原始 Transformer 为 NLP 和循环结构揭示的相同教训。

大约在同一时期，对比学习等技术开始流行。2020 年，SimCLR（简单对比学习表示）和 MoCo（动量对比）等方法表明，你可以取一张图像，创建其两个不同的增强版本，然后训练模型（通常使用 CNN 主干）将这两个版本识别为“同一”图像实例，同时将它们与其他图像区分开来 [12][13]。

这是通过对比损失来实现的，该损失将同一图像的两个视图的表示拉得更近，而将不同图像的表示推得更远。值得注意的是，在数百万张图像上预训练后，模型学到了非常丰富的图像内容表示。当进行评估时——例如，通过使用这些学习到的特征在 ImageNet 标签上训练一个简单的线性分类器——准确率非常高，有时甚至与从头开始训练的监督 ResNet 相当。

事实上，在 SimCLR 的自监督特征上训练的线性分类器在 ImageNet 上达到了 76.5% 的 top-1 准确率，与全监督 ResNet-50 能达到的 78% 到 80% 相差不远，并且随着方法的改进，这一差距进一步缩小 [14]。这意味着图像上的无标签预训练可以产生几乎与带标签学习相当的表示。后续工作，如 BYOL（自举自身潜在表示）和 SwAV，改进了这些技术 [15][16]。到 2021 年，自监督视觉模型已成为研究中的常态，就像 NLP 中的 BERT 一样。这些方法成为在标签数据稀缺的环境中预训练视觉主干的默认方法。

ViT 和自监督学习使用未标记的图像来预训练强大的视觉模型。就像 Transformer 一样，ViT 证明了规模和数据可以战胜内置的归纳偏差，而对比和掩码预训练在视觉中的成功强化了这样一个主题：学习稳健表示的最佳方式，无论是对于文本还是图像，是在原始数据本身上设置巧妙的学习任务，无论是预测缺失部分还是区分增强版本。这一时代出现的模型为多模态融合等铺平了道路，因为它们提供了可以在不同模态之间组合的丰富嵌入。

E.2 缺失的 100%

Sutskever 的列表中存在另一种缺失，它与缺失的 10% 不同。之前的缺失最好理解为平行的发展线路。这些分支对 AI 很重要，但并不是 Sutskever 列表所选择遵循的路径的核心。接下来的内容有所不同。

理解该列表的一种有用方式是将其视为具有知识截止日期。Ilya 在 2020 年与 John Carmack 分享了该列表。你可以在重建版本中看到时间戳，其中 Kaplan 的论文是列表上最新的。然而，2020 年之后，该领域开始由后训练、产品化、多模态、检索、工具使用、开源权重生态系统、推理时推理以及使这些模型有用、可负担和无处不在所需的系统工作来定义。现在的故事属于接口、部署栈、对齐层、上下文窗口、代理脚本以及围绕模型的人类工作流。

这就是我所说的缺失的 100%。并不是说前面的章节没有为接下来发生的事情做好准备。相反，一旦 ChatGPT 出现，核心问题就不再简单地是如何训练一个强大的模型。而是将该模型转变为一个助手、一个推理系统、一个多模态接口、一个工具使用者、一个研究助手、一个编码伙伴和一个搜索层。

E.2.1 多模态基础

最令人兴奋的“缺失片段”之一是多模态 AI 的诞生。主要的例子是 CLIP（对比语言-图像预训练），由 OpenAI 在 2021 年初发布。CLIP 训练两个编码器——一个用于图像，一个用于文本——使得当文本描述图像时，图像和文本嵌入相匹配。OpenAI 从互联网上收集了一个约 4 亿对（图像，标题）的庞大数据集。他们以对比目标训练 CLIP，其中模型被呈现一批例如 32 张图像和 32 段文本，并接受训练，使得正确的图像和文本对在嵌入空间中具有高余弦相似度，而不匹配的对具有低相似度。实际上，模型学会了将图片与其文字描述联系起来。结果令人震惊。

CLIP 在没有看到任何特定分类任务的情况下，仅基于语义相似度就能正确地标记图像 [17]。OpenAI 报告说，CLIP 在没有直接接受 ImageNet 训练的情况下，匹配了在 ImageNet 上训练的 ResNet-50 的性能，达到了约 76% 的零样本准确率。这意味着该模型并没有被狭隘地绑定到单个训练集或任务上。相反，它已经以语言的形式学习了视觉概念的广泛表示。

CLIP 为 AI 提供了一种弥合模态的方式。它在共享的嵌入空间中连接了视觉和语言世界，并成为诸如图像搜索（从文本查询中查找图像）、生成图像标题（通过检索与图像匹配的文本）以及过滤生成模型输出等任务的主干。确实，CLIP 被用于 OpenAI 的 DALL-E 2 系统（2022 年发布）中，作为一个评分模型来指导生成过程；基本上，CLIP 对图像与标题匹配程度的判断被用来挑选最佳的生成图像。可以说，CLIP 破解了大规模学习多模态表示的密码。

通过在来自网络的图像-文本对上进行训练，CLIP 和类似的模型隐含地学到了很多世界知识，例如典型物体及其属性的外观，以及人们用来描述场景的词汇。重要的是，它们是在没有明确标签的情况下学习的——只是从在线提供的 alt 文本和图像的噪声配对中学习。这种方法现在是基础性的。任何当你使用一个能够理解图片和文本的 AI 系统时（例如，要求现代 AI“描述这张照片”或“这张图里有什么不寻常？”），在幕后，很可能有一个类似 CLIP 的模型。

多模态模型的兴起展示了 AI 如何融合语言和视觉。这种融合使得例如按名称进行图像的零样本分类，或者让聊天机器人讨论图像成为可能。它为后来的系统如 GPT-4 的视觉功能铺平了道路，这些功能可以在不同模态之间流畅切换。从概念上讲，CLIP 通过将不同模态带入共享的语义空间，展示了跨模态对比学习的力量，每个模态为其他模态提供基础或信息。

E.2.2 扩散模型

想象你有一张图片，逐步地、一步一步地向其中添加噪声，直到它变成纯粹的颗粒状噪声。扩散模型学会逆转这个过程。它从随机噪声开始，逐步去除噪声以产生连贯的图像。在训练中，模型被给予部分加噪的图像，并被要求预测噪声较少的版本，或者等价地，预测所添加的噪声。通过在多个噪声级别上这样做，模型有效地学会了通过逐步去噪从头生成图像。扩散模型流行的一个原因是——与生成对抗网络（GANs）不同，后者是之前图像生成的主导方法——扩散训练非常稳定，不需要棘手的对抗设置。在 2020 年和 2021 年，研究人员展示了扩散模型能够生成令人难以置信的高质量图像，通常与真实照片无法区分，且具有很大的多样性。

突破不仅在于质量，还在于可控性。到 2022 年，像 GLIDE 和 DALL-E 2 这样的系统，以及后来 Stability AI 的 Stable Diffusion，实现了前所未有的保真度的文本到图像生成[18][19][20]。这些系统将扩散模型与我们刚才讨论的多模态理解结合起来。例如，DALL-E 2 使用 CLIP 风格的表示来引导扩散过程，生成一张 CLIP 嵌入与输入提示的嵌入相匹配的图像。输入“云中的城堡，油画风格”，就会出现一张合理的、往往引人注目的该风格图像。

扩散模型本质上充当想象力的引擎，能够描绘文本所描述的内容。特别是 Stable Diffusion，值得称赞，因为它在 2022 年公开发布，并引发了创意爆炸。世界各地的人们可以在自己的 GPU（甚至 CPU，只要有耐心）上运行这个模型，仅通过编写提示就能生成艺术、插图和图像。就在这个时期，AI 生成的艺术走向主流，引发了关于创造力和版权的新问题，但不可否认地表明生成式 AI 已经进入视觉媒体领域。

扩散模型也不限于图像。变体已被应用于音频生成（例如，噪声到音乐或噪声到语音模型），甚至用于化学中的分子生成等任务。它们代表了一种通用的生成方法。与几年前的 GAN 相比，扩散模型提供了更高的真实感并更忠实地遵循提示。它们还倾向于产生更多样化的输出，而不是崩溃到少数几种模式。

从我们的角度来看，扩散模型的崛起提醒我们，并非所有 AI 的进步都围绕着 Transformers 或语言。在模型创建方式上也有并行的进步。等到 ChatGPT 到来时，这些基于扩散的图像生成器已经补充了基于文本的聊天机器人。今天的 AI 格局更加丰富，因为我们既有能像 ChatGPT 那样对话的模型，也有能绘画、涂色和视觉想象的模型。我们甚至有了统一这些技能的模型的开端（例如，通过将扩散图像生成与能够描述它们所创造场景的语言模型结合起来）。

E.2.3 AI for science

最著名的成就之一是在科学发现领域。2021 年，DeepMind 的 AlphaFold 2 有效地解决了有着 50 年历史的蛋白质折叠问题[21]。这是生物学中的一个重大挑战，展示了深度学习如何开始革命化传统 AI 任务之外的领域，并强调了人工神经网络模型的多功能性。

蛋白质折叠问题涉及预测蛋白质在给定其氨基酸序列时将折叠成的三维形状。几十年来，科学家们一直努力解决这个问题，尽管有逐步的改进，但没有方法能可靠地实现对一般蛋白质的原子级精度。然而，AlphaFold 在 CASP 竞赛的测试目标上实现了约 1 埃的中位误差。1 埃是一个小原子的宽度；本质上，AlphaFold 的预测往往在真实结构的原子距离之内。为便于理解，组织者表示，在他们的 GDT 指标上得分高于~90 与实验方法具有竞争力，而 AlphaFold 2 的中位分数是 92.4 [22][23]。许多蛋白质被以近乎完美的精度预测，甚至更困难的案例也比以往任何时候看到的都要好得多。

这是一个巨大的飞跃，以至于 CASP 的主席 John Moult 宣布这个问题“已解决”，从计算方法现在往往能像实验一样准确地预测结构的意义上来说[24][25]。在几年内，AlphaFold 团队发布了 AlphaFold 蛋白质结构数据库，包含超过 2 亿个蛋白质的预测结构——本质上是科学已知的所有蛋白质。这成为了生物学家、化学家和药物开发者的宝贵资源。它已经促进了理解疾病、设计酶等方面的进步。它证明了那些开始使用深度学习来分类猫、现在正在解决分子结构的先驱者们[26]。AI 终于进入了科学领域。

E.2.4 Knowledge distillation

知识蒸馏源于早期的模型压缩和师生工作，但现代路线通常从 Buciluă的模型压缩结果，经由 Ba 和 Caruana，到 Hinton、Vinyals 和 Dean 在 2015 年提出的有影响力的公式[27][28][29][30]。到 2010 年代后期，蒸馏已成为使大型模型更小、更快、更便宜地部署的标准方法。高效部署的压力并非始于 ChatGPT，但大规模采用使其更加可见且经济后果更加重大。

核心思想很简单。从一个大型、准确的教师模型开始。然后在相同的输入上训练一个较小的学生模型，以匹配教师的输出分布，通常同时从原始硬标签中学习。在实践中，这些软预测比单热标签携带更多信息，因为它们不仅编码了正确答案，还编码了教师对哪些替代方案是合理的感觉。例如，如果教师网络预测一张图像的类别概率为[cat: 90%, fox: 5%, dog: 4%, car: 0.5%, ...]，这些概率包含了很多关于教师如何看待世界的信息。在这种情况下，很明显图像是一种动物，可能是猫，但模型也看到了与狐狸和狗的一些相似性。一个训练来匹配这些概率的较小模型实际上可以学习到几乎与教师一样好，即使它具有少得多的参数。Hinton 将这种额外结构描述为“暗知识”[31][32]。使用这种方法，小得多的模型可以恢复大型深度模型甚至集成的令人惊讶的性能[33]。

到 2019 年，知识蒸馏被用于创建像 DistilBERT 这样的模型，它将笨重的 BERT 模型压缩到几乎一半的大小，同时保留了其 97%的性能[34]。DistilBERT 提供了更轻量的足迹，这对于每秒服务许多查询或在更小的设备上运行非常重要。

在 2020-2022 年，随着大型语言模型的出现，公司也使用蒸馏来创建更快的变体。例如，OpenAI 在 GPT-3 部署的背景下提到了蒸馏，而 2025 年的一篇WIRED文章指出，甚至像 DeepSeek 这样的新来者也使用蒸馏来压缩模型，当他们获得教师知识的方式受到质疑时，存在一些争议。除了节省计算，蒸馏通常还使模型运行得更快，有时甚至更好，由于从更平滑的教师信号学习的正则化效果。

知识蒸馏承认，虽然在预训练和原始能力方面，更大的模型更好，但如果知识能够适当转移，那么较小的模型通常就足以满足使用需求。这有点像导师教徒弟。徒弟在许多任务上几乎可以和导师表现得一样好，因为他们以压缩的形式吸收了导师的专业知识。到 ChatGPT 推出时，这些技术可能是优化模型服务的幕后工具包的一部分。

在 ChatGPT 之后，随着开源模型激增，蒸馏成为社区将 650 亿参数模型压缩为更易访问的 130 亿或 70 亿版本的一种方式。Anthropic 对 Claude 3.5 Opus 的处理暗示了同样的逻辑。该公司宣布了该模型，但从未公开发布，这引发猜测，认为内部的 Opus 级系统作为生成合成数据或 Sonnet 奖励信号的教师可能比作为产品本身更有用。然而，Anthropic 否认 Sonnet 是使用更大、更昂贵的模型训练的。最终，蒸馏表明，训练一个大型模型来推动技术前沿是一回事，将其大规模部署给数百万用户是另一回事。

E.2.5 对齐

在 ChatGPT 首次亮相之后，AI 发展甚至进一步加速。我们在调整和对齐模型、使它们能够访问外部知识或工具、将它们扩展到新模态以及推动推理能力达到新高度方面都看到了巨大的进步。

ChatGPT 的一个决定性特征是，它比前代模型更好地遵循人类指令。默认情况下，GPT-3（ChatGPT 所基于的）如果被天真地提示，会唠叨或产生未过滤的内容。相反，ChatGPT 通常会尝试提供帮助，避免某些有毒或敏感的输出，并以对话方式遵循用户的请求。这不是偶然的；这是重要的训练后对齐工作的结果。指令微调和基于人类反馈的强化学习都是关键。

指令微调是在指令任务数据集上对预训练语言模型进行微调。例如，像 Google 的 FLAN 和 T0（2021）这样的模型表明，如果你在各种各样的提示及其正确响应上微调模型，比如问答对或摘要任务的集合，结果模型会更好地遵循新颖的指令。本质上，它学会了“做用户要求”的概念，而不是仅仅预测任意互联网文本中的下一个 token。OpenAI 用他们所谓的 InstructGPT 大规模地做到了这一点；这是 ChatGPT 的姊妹模型。

用户立即注意到，这样的模型对实际查询更具响应性和准确性。OpenAI 报告称，人类评估者强烈偏好 13 亿参数的 InstructGPT 模型的响应，而不是原始 1750 亿 GPT-3 对相同提示的答案[35][36]。换句话说，在经过这种特殊微调后，甚至更小的模型在满足用户意图方面也优于更大的原始模型。这强调了不仅仅是模型大小重要，训练模型理解和执行指令也很重要。

基于人类反馈的强化学习（RLHF）将对齐推进了一步。RLHF 不仅仅是在示例任务上微调，而是使用人类对模型输出进行排序或评分，然后将这些排名用作奖励信号来进一步优化模型的行为。该过程与人类标注者一起工作，后者对给定提示的模型输出从最好到最差进行排序，然后模型被训练以预测这些排名。最后，使用强化学习对模型进行微调，以最大化奖励模型的分数。这训练模型生成人类会高度评价的输出。OpenAI 将 RLHF 应用于其指令微调的 GPT-3，以进一步将其与正确性、有用性和无害性等品质对齐。结果就是 ChatGPT。

多亏了 RLHF，ChatGPT 变得显著更真实，比基础模型有更少的幻觉、更低的毒性和更高的对用户请求的服从性。当然，它并不完美，但它是对齐方面的一个飞跃。该技术本质上解锁了模型中以前没有可靠使用的潜在能力。它还引入了一些妥协，通常被称为“对齐税”，即在某些分布上对齐用户偏好可能会降低在其他分布上的性能。但研究人员找到了通过将原始训练数据纳入 RLHF 来减轻这种方法并保留知识的方法。

但 RLHF 并不是对齐故事的结局。直接偏好优化（DPO）在 2023 年由研究人员提出作为一种替代方案。DPO 消除了强化学习步骤，而是直接在比较上以更稳定、简化的方式微调模型[37]。它将问题框定为二元分类任务，其中选择首选输出，并优化模型以增加首选输出相对于非首选输出的概率[38]。DPO 的承诺是，它可以在没有训练单独奖励模型和运行 RL 的复杂性的情况下，实现类似于 RLHF 的结果。

宪法 AI 甚至更引人入胜。Anthropic 提出并实现了一种使用 AI 反馈而非人类反馈的模型对齐替代方法。宪法 AI（2022）的想法是给 AI 一组书面原则或“宪法”。这些可能包括像“AI 绝不应该产生仇恨言论或鼓励非法行为”和“AI 应该是有帮助和诚实的”这样的规则，然后让 AI 本身根据这些原则批评和精炼其输出[39]。本质上，模型生成一个答案，然后产生一个与给定原则对齐的修订答案。优点是它减少了对大规模人类标注的依赖，并且可以产生一个在敏感查询上比 RLHF 模型更少回避的模型。RLHF 模型经常学会用安全但无用的拒绝来回应，而宪法 AI 试图在保持安全的同时保持有用。

指令微调使模型开箱即用地更好地遵循用户意图。RLHF 通过使用大规模的人类判断大大提高了质量和安全性。DPO 和宪法 AI 进一步细化了我们如何对齐模型，要么通过简化过程，要么通过由原则驱动的 AI 反馈减少对人类反馈的需求。这些进步通过使大型语言模型更有用、更少有害、更可控，解决了它们的直接缺点。今天，结果就在我们身边。来自 OpenAI、Anthropic、Google 和 xAI 的 AI 助手都是基于这些对齐技术构建的。实际上，基础模型的原始智能被精炼为对终端用户更易接触和有益的东西，大大扩展了 AI 的采用。

E.2.6 工具与知识

在 ChatGPT 推出后几乎立即出现了一个明显的局限性。ChatGPT 无法访问新知识。它的知识截止日期由训练数据固定。对 ChatGPT 来说，这意味着它不知道 2021 年之后的事件。而且它经常幻觉事实，自信地陈述不真实的事情，因为它没有检查答案的机制。AI 社区通过密切相关的开发解决了这些问题，包括网页搜索、检索增强生成（RAG）以及使用工具的大型语言模型（LLM）“代理”框架的兴起。

RAG（检索增强生成）是一个将大语言模型与知识检索器（通常是向量数据库）配对的框架。这一想法大约在 2020 年提出，但在 ChatGPT[40]之后获得了显著关注。模型不再依赖可能过时的参数记忆，而是可以参考外部知识源。在 RAG 系统中，当问题输入时，系统首先使用搜索组件获取相关文本。这些检索到的片段随后与原始查询一起提供给语言模型，模型利用它们来生成答案。这实际上给模型带来了一场开卷考试，而非闭卷考试。其好处是模型的回应可以包含最新信息，并且基于真实来源，减少了幻觉风险，使答案更容易验证。

与检索并行，还有让模型使用文本搜索之外工具的努力。2022–2023 年涌现了大量将语言模型转化为能够采取行动的更通用代理的工作。ReAct（2023）代表“推理与行动”（Reasoning and Acting）。研究人员提出了一种提示格式，不仅产生最终答案，还产生思维链以及可能的行动，交错进行[41]。例如，对于一个可能需要查找某事的问题，模型的想法可能是“我应该搜索 X”，行动可能是“搜索 X”。然后系统执行该行动（例如查询搜索 API、网络、计算器或其他工具），并将观察（即结果）返回给模型，模型随后继续推理。ReAct 表明，通过这种格式的几个示例，像 GPT-3 这样的模型可以学会逐步思考并在需要时使用工具。同样重要的是，它提高了可解释性，因为用户可以看到模型的思维链和所采取的行动，从而更容易调试或信任。

Toolformer（2023）通过微调模型以自主使用工具，进一步推进了这一想法[42]。它本质上生成了合成训练数据，其中较大的模型用 API 调用标注文本，较小的模型在这些数据上微调，以决定何时以及如何调用工具。Toolformer 令人印象深刻的地方在于，它学会了在输出中插入等效的“调用”；在推理时，这些调用被执行，结果返回到模型的上下文。该论文报告称，Toolformer 增强的语言模型在零样本任务上超过了 GPT-3，表明使用工具可能是一个巨大的帮助。本质上，虽然 ReAct 聚焦于提示策略，而 Toolformer 则聚焦于将工具使用能力嵌入模型的权重中。

E.2.7 混合专家模型

后 ChatGPT 时代在架构和技术方面取得了许多进步，以获得更高的性价比。一条主要的研究路线是探索神经网络的稀疏性，特别是在混合专家（MoE）模型中。与每个参数用于每个输入的密集模型不同，MoE 模型有多个“专家”（即子网络）和一个门控机制，为每个输入标记仅激活其中少数几个。例如，这意味着你可以拥有一个总参数量为 1 万亿的模型，但仅使用其中 1%来计算给定的标记。

谷歌的 Switch Transformer（2021）展示了 MoE 可以在不相应增加计算量的情况下大幅增加参数数量，并显示出有前景的训练效率。在 ChatGPT 之后，这一想法在推理效率方面获得了更多关注，因为设计良好的 MoE 可以在需要时使用更大的参数空间，同时保持运行时成本与更小的模型相似。OpenAI 自己的 GPT-4 据传（尽管未公开确认）使用了某种形式的 MoE 或模型并行以实现其性能，可能有许多专门针对不同领域的专家。

开放空间中的一个杰出例子是我们之前在 DeepSeek 下讨论的：DeepSeek-R1 是一个明确使用从 6710 亿总参数池中激活的 370 亿参数 MoE 的模型[43]。该设计使其能够实现出色的推理性能。团队报告称，该模型在数学和推理任务上达到了接近最先进水平的结果，与 OpenAI 的 o1 模型相当，同时通过每次查询仅激活一部分专家，保持了可管理的计算成本。在他们的评估中，由于这种架构，DeepSeek-R1 在某些基准测试中的结果甚至超过了参数规模为其活跃大小数倍的密集模型。本质上，MoE 是一种让模型“在需要时大，在可以小时小”的方法。

另一个效率方向是低精度计算。研究和工程导致了 8 位、4 位甚至 2 位量化方法，使模型能够在最小化精度损失的情况下运行。像量化 LoRA（QLoRA）这样的技术表明，模型可以在 4 位精度下有效微调。到 2023 年底，在消费级 GPU 上以 4 位精度运行中等规模的模型已成为可行，且质量损失很小。这意味着使用这些模型的准入门槛降低了。

在 MoE 之外的架构前沿，研究人员尝试了长上下文模型，例如添加循环或基于片段的处理以处理书籍长度的输入、为效率将检索融合进模型架构的检索增强变换器，以及允许不同模块独立更新或交换的模块化网络（对效率和持续学习有用）。

一个显著的发展是 OpenAI 的 o1（草莓）推理模型，它引入了一种新的训练“优化算法”，暗示他们内部可能正在做一些非常不同的事情，可能在训练期间使用多步推理或某种形式的大规模元优化[44][45][46]。他们显然还在每个查询中为 o1 模型使用了更多计算，这更慢但对复杂任务更准确[47]。这表明了一种权衡，你可以设计一个像 GPT-4 那样快速且广泛的模型，或者像 o1 那样更慢但更深思熟虑的模型。未来，模型将根据问题复杂度动态调整这一点，在困难问题上花费更多时间，在简单问题上花费更少时间。

如今，成功也关乎优化。我们先制造了笨重的汽车，现在正努力让每个人都能驾驶可靠、高效的汽车。AI 正沿着同样的精炼路径，通过蒸馏压缩知识，智能地激活哪些电路（即稀疏性），减少冗余精度（即量化），甚至探索新的训练范式以最大化计算回报，正如 OpenAI 在 o1 中所暗示的。到 2025 年，结果是 AI 模型不仅更智能，而且在引擎盖下也更精巧。

E.2.8 推理模型

即使模型变得更有知识和多模态，一个棘手的挑战仍然存在。尽管大语言模型通过思维链提示具有一定的推理能力，但它们在长过程中，特别是在非单调推理过程中，仍然会犯许多逻辑错误或幻觉步骤。为了解决这个问题，ChatGPT 之后出现了一类新的模型和训练方法，旨在专门优化推理。

如前所述，OpenAI 的 o1 模型于 2024 年底发布，是这一转变的象征。它被明确描述为一系列“推理模型”中的首个。与强大的全能型 GPT-4 不同，o1 被设计用于擅长复杂问题解决、数学和编码等任务，即使这意味着运行更慢且更昂贵。

o1 使用强化学习解决问题，并在推理过程中结合内部思维链。在实践中，o1 可以像我们在纸上打草稿那样，将问题在内部逐步拆解，并且在训练中因正确的多步解决方案而获得奖励，而不仅仅是预测下一个词。在许多任务上，结果令人惊叹。例如，o1 能解决 83% 的国际数学奥林匹克预选赛题目，而 GPT-4 只解决了 13% [48]。它还在编程竞赛中表现优异，在 Codeforces 竞赛中排名第 89 百分位。这些都是需要严谨逻辑思维的问题。

代价是 o1 在常识性知识或快速回答方面不如 GPT-4。它甚至可能缺乏一些事实性记忆，并且计算开销更大。但作为专家模型，它代表了一个新方向。这些模型被训练为先推理，即使它们需要推导某些事实而非直接回忆。这让人联想到 AlphaGo 被训练来赢得游戏（强化学习目标），而不是模仿人类走法。现在我们看到语言模型被训练来解决任务，而不是仅仅模仿文本。这是一种更以目标为导向的训练范式。

AI 领域并没有止步于已有的成就。它没有在 ChatGPT 之后退缩。它直面未解决的挑战，安全地对齐模型，用工具和数据赋予它们根基，民主化访问，优化效率，扩展它们的模态，并 sharpening 它们的推理能力。借助 Sutskever 清单中的“缺失环节”，我们可以更好地理解一切如何汇聚，创造了今天的世界。

附录：工程师的设计模式

Sutskever 清单表明，现代 AI 的历史，本质上是一部可学习结构变得可扩展的历史。获胜的系统并非拥有最优美理论的那些，而是那些端到端学习表征、通过深度保留信号、将架构与数据结构匹配，并将额外计算转化为可靠经验收益的系统。从 AlexNet 到 ResNet 再到 Transformer，模式是相同的：简单、模块化的想法，经过良好工程化，大规模扩展，并以相对于最佳现有基线的可衡量收益来评判。这一工程传统背后的更深层主张是，当模型压缩世界足够好以恢复其隐藏结构时，智能就会出现；更深层的警告是，一旦这类系统扩展起来，目标设计和安全性就不能再被视为事后考虑。

学习到的表征（第 2–7 章）

AlexNet 之所以重要，是因为它取代了 SIFT/HOG 时代。Deep Speech 2 在语音领域重复了同样的动作，用直接的音频到文本特征学习取代了音素词典和僵化的对齐方式。书中反复出现的对端到端学习特征的偏好，源于世界是混乱的，而手工特征是脆弱的。

没有冻结的先验（第 2–7 章）

手工特征之所以有吸引力，是因为它们的不变性是可解释的，但它们也将人类对信号应该是什么样子的猜测锁定到了表征中。更好的模式是使用计算、数据、增强和架构偏置来使学习可行，同时让表征本身被发现。旧管道先编码不变性，后学习；深度学习学习表征，将人类先验主要作为可扩展的提示而非固定答案。这本质上就是“惨痛的教训”。

数据增强（第 2–7 章）

AlexNet 的随机裁剪和水平翻转为网络提供了许多视角，在这些视角中，物体类别保持稳定，尽管存在平移、部分视图和左右反转。它基于 PCA 的颜色抖动同样抑制了对偶然光照和颜色平衡的依赖。这是对将不变性硬编码进特征提取器的一种更温和的替代方案。增强不是冻结人类对信号的某种概念，而是通过反复向模型展示干扰变化，让其学习什么仍然具有预测性，从而将一种较弱的先验编码为经验。在实践中，增强不仅仅扩大数据集；它重塑了学习问题，使容量被花在稳定结构而非表面伪影上。

数据增强是“数据的不合理有效性”转向内部。当真实数据集太小，无法揭示稳定结构时，增强制造了本会在更大数据集中出现的变化。模型学习不变性，不是因为手工设计的描述符提前声明了它，而是因为训练分布反复展示了它。

优化是架构的一部分（第 1–5 章）

AlexNet 最早通过使用 ReLU 和训练感知的设计选择使这一理念生动起来，这些选择不仅仅是表面细节，而是使大型网络在 ImageNet 规模上可训练。ResNet 增加了纯恒等路径、预激活，并去除了合并后的非线性。这些微小变化决定了非常深的模型是否能训练。事实上，成功的余地极其狭窄。最终，只有当梯度和表征能干净地在系统中流动时，容量才有意义。

偏好模块化块（第 3–6 章）

GoogLeNet 的 Inception 模块实现了极佳的计算-精度权衡，但它们的分支宽度、滤波大小和逐阶段配置需要仔细的手工设计。ResNet 通过简单重复一个残差块使深度变得可扩展。

Transformer 扩展了这一教训。与 ResNet 一样，它们通过重复一个简单的同质块来扩展，而不是手工设计许多异构模块。每个块在添加注意力和前馈变换的同时保留残差流，使深度、宽度和头数成为相对系统的扩展轴。而且，与 ResNet 一样，优化细节是架构性的：残差路径、LayerNorm 位置、注意力缩放和短的词到词路径不是偶然的训练技巧，而是模型训练和扩展的核心原因。最后，通过在设备间划分顺序网络并将微批次流式传输到各分区，GPipe 在不改变语义的情况下实现了现有架构的扩展。

偏好最小创新以实现最大使用（第 2–6 章）

这本书反复将 Sutskever 的品味描述为“以最小创新获得最大结果”。残差连接、预激活、扩张、注意力甚至序列重排之所以重要，是因为微小的改变可以解锁扩展和性能的增益。目标是改变系统的扩展行为，而不是过度工程或聪明地创造飞轮效应。

迭代而非发明（第 3–5 章）

AlexNet、ResNet、Deep Speech 2 和 Transformer 并非通过最大化新颖性获胜。ResNet 表明，最简单、未改动的恒等映射是最有效的。Transformer 扩展了这一教训。更简单、更可并行的设计击败了具有更强理论先验的架构，因为它更容易优化和扩展。在 Sutskever 清单上，工程并非位于想法的下游；它是想法被赋予生命并变得可行的机制。

工程并非贬义词（第 2、4 和 6 章）

AlexNet 和 Deep Speech 2 被呈现为有纪律的、经验主义的系统构建的案例研究：GPU、仔细的初始化、归一化、Dropout、课程学习、批处理和部署导向的选择共同作用。尽管有“暴力”的贬义，这正是使想法变得真实的原因，而非仅仅优雅。

消融实验（第 2–7 章）

深度学习教训

ResNet v2 提出了预激活，但其作者系统地测试了缩放跳跃连接、丢弃跳跃连接、门控捷径、在跳跃分支上添加卷积，以及批归一化和 ReLU 的替代放置。这些实验表明，即使对恒等路径的微小破坏也可能损害收敛或准确性，使核心教训不言而喻。消融实验将想法转化为证据。

最佳基线，而非生物学（第 2–7 章）

在 AlexNet 之前，人工神经网络通常通过生物学类比和轶事结果来证明其合理性，基线薄弱或不一致。但共享基准的出现和强大的基线文化改变了证明标准。今天，进展是可衡量的、可比较的和可重复的。事实上，在过去 15 年中，AI 的加速不仅可以归因于更好的工程，还可以归因于基准和基线驱动的评估所施加的纪律。

缩放什么？（第 2–6 章）

这不是一个缩放是否有效的问题。但我们必须具体并准确询问正在缩放什么。最终，可扩展的架构不仅仅是恰好很大的架构。缩放时代的教训不是“增加计算”，而是找到一个将计算转化为更好表示的架构，然后积极缩放它。缩放是一个乘数，但不能替代正确的架构。

偏好短路径和并行性（第 4–6 章）

最小化依赖长度并最大化并行性的架构更容易优化和扩展，因此获胜。反转技巧是一个早期提示，当信息通过更短的路径传输时，序列模型变得更容易训练。Transformer 使用注意力更直接地连接位置，并利用并行计算来扩展这些连接。

选择性寻址（第 5 章）

Bahdanau 的软注意力揭示了序列到序列的“思想向量”是一个瓶颈，而不是解决方案。指针网络使用注意力来指向，神经图灵机使用它来读写内存，但 Transformer 通过允许每个标记直接访问每个其他标记，使同样的想法更加通用。当模型能够根据需要访问特定输入或内存槽，而不是将整个问题压缩到单个固定状态时，性能会提高。当模型能够指向重要的事物，而不仅仅是记住一切时，模型表现更好，而注意力可以在标记、内存或节点上进行读取。

平滑损失与能力（第 6 章）

缩放定律使训练损失看起来规律，但实际能力可能突然切换，因为评估是阈值化的，且制度变化很重要。这使得评估设计与优化设计同样重要。

更弱的归纳偏差（第 7 章）

从循环到注意力的转变消除了严格的序列约束，而位置编码以更柔和的形式重新引入。这种模式在整个书中反复出现。用机制取代硬编码结构，让模型学习何时以及如何该结构重要。教训是将偏差编码为引导学习而不约束它的方式。

先验仍然重要（第 7 章）

缩放定律表明，一旦一个模型家族真正可扩展，架构变化主要移动截距而不是斜率。也就是说，正确的归纳偏差将整条曲线向下移动，在每个数据和计算预算下产生更好的性能。关系网络和消息传递神经网络等架构在任务依赖于显式交互且结构真实且重要时，重新引入关系和拓扑归纳偏差。然而，先验只有在基准测试和优化中幸存下来才能保持其价值。不扩展的优雅结构，如胶囊网络，或像通用 Transformer 这样循环繁重的绕道，会输给更简单、更容易优化、并且更能吸收前沿规模数据和计算的架构。先验仍然重要，作为规模的乘数，但不能替代它。

速度重要（第 7 章）

MPNN 强调，更快地近似 DFT 改变了科学工作流程，而不仅仅是基准分数。当一个模型改变了哪些实验是可行的时，它就变得具有历史重要性，尽管两者都重要。

好的预测是压缩（第 8 章）

Sutskever 认为，一个好的预测模型——在一个重要意义上——是一个好的压缩器。在 MDL 视角下，当模型捕获数据中可重用的规律而不是记忆偶然的怪癖时，它就泛化了。数据中的“秘密”是潜在变量、隐藏因素和共享结构，包括评论中的情感、语言中的语法、翻译中有用的中间表示，或 grokking 中的类规则结构。Kolmogorov 复杂性和 MDL 提供了概念框架，而情感神经元、思想向量、Hinton 和 van Camp，以及 grokking 提供了具体的神经示例。统一的主张不是压缩证明真理，而是成功的学习通常用一个更短的结构表示来替代一长串例外，该表示继续很好地预测。

泛化之前的记忆（第 8 章）

在 grokking 实验中，模型可以首先通过编码许多特定于示例的细节来拟合训练集，然后后来过渡到捕获底层规则的更低描述长度的表示。足够的正则化似乎有利于这种过渡：而不是停留在高复杂度的记忆机制中，模型最终陷入一个更简单的泛化预测器。

工程中的安全（第 1 章和第 9 章）

GPT-2（第 1 章）标志着缩放与安全之间的第一次公开冲突，而第 9 章将这种担忧扩展到奖励黑客、接线头和目标稳定性。这些不仅是活生生的怀疑的例子，而且设计表面还表明能力和控制是不可分的。如果奖励渠道可以被玩弄或目标可能偏离人类意图，更大的系统只会放大错误的成本。工程结论是构建优化、压缩和扩展的系统，并诚实评估它们，但永远不要将对齐、生产发布或安全设计视为别人的问题。

隐藏的本质（第 9 章）

保持性能声明可操作，而不是将它们转化为关于隐藏本质的声明。也就是说，不要让基准胜利转化为形而上学的声明。此外，忽视那些反对基准和现有基线成功的怀疑者，而支持关于“真正智能”的形而上学论点。AI 不是通过更好的定义合法化的，而是通过避免它们并关注经验胜利，这将是维持它的原因。

参考文献

第 1 章

[1] Stan Schroeder，《OpenAI 首席科学家 Ilya Sutskever 离开 OpenAI》，Mashable，2024 年 5 月 14 日。mashable.com/article/openair-ilya-slutskever-leaves-chief-scientist

[2] E. Musk (@elonmusk)，《我究竟看到了什么！？这令人担忧》，X，2023 年 12 月 10 日。twitter.com/elonmusk/status/1734063208648880247

[3] R. Kalvapalle，《“AI 教父” Geoffrey Hinton 的诺贝尔奖成为全球头条》，University of Toronto News,，2024 年 10 月 9 日。www.utoronto.ca/news/godfather-ai-geoffrey-hinton-s-nobel-prize-draws-headlines-around-world

[4] A. Krizhevsky, I. Sutskever, and G. E. Hinton，《使用深度卷积神经网络进行 ImageNet 分类》，载于 Proceedings of the 26th International Conference on Neural Information Processing Systems，第 1 卷，Lake Tahoe, NV，2012 年，第 1097–1105 页。

[5] M. Ford, 智能的建筑师：来自构建人工智能的人们关于人工智能的真相。英国伯明翰：Packt 出版社，2018 年 11 月（第 4 页）。

[6] “一位固执的计算机科学家如何意外地推动了深度学习的繁荣”，Ars Technica，2024 年 11 月 11 日。

[7] H. Hsu，“CHM 发布 AlexNet 源代码”，计算机历史博物馆博客，2025 年 3 月 20 日。https://computerhistory.org/blog/chm-releases-alexnet-source-code

[8] J. D’Onfro，“你不需要斯坦福大学的计算机科学学位就能在谷歌最热门的团队之一工作”，Business Insider，2016 年 8 月 12 日。https://www.businessinsider.com/the-surprising-backgrounds-of-people-working-at-google-brain-2016-8

[9] M. Abadi 等人，“TensorFlow：在异构分布式系统上的大规模机器学习”，arXiv:1603.04467，2016 年 3 月。https://arxiv.org/pdf/1603.04467.pdf

[10] J. Dean 等人，“大规模分布式深度网络”，载于 神经信息处理系统进展 第 25 卷（NeurIPS 2012），2012 年，第 1223-1231 页。

[11] Silver, D., Huang, A., Maddison, C. 等人，“通过深度神经网络和树搜索掌握围棋”，Nature 529, 484–489 (2016)。

[12] I. Sutskever, O. Vinyals, and Q. V. Le，“使用神经网络的序列到序列学习”，arXiv:1409.3215，2014 年 9 月。https://arxiv.org/abs/1409.3215

[13] S. Levy，“OpenAI 真正想要什么”，WIRED，2023 年 9 月 5 日。https://www.wired.com/story/what-openai-really-wants/

[14] C. Metz, K. Weise, N. Grant, and M. Isaac，“自我、恐惧与金钱：人工智能的导火索是如何点燃的”，The New York Times，2023 年 12 月 3 日。

[15] New York Times Events，“Elon Musk on advertisers, trust and the ‘wild storm’ in his mind | DealBook Summit 2023”，YouTube，2023 年 11 月 30 日。https://youtu.be/2BfMuHDfGJI?si=HPLwKLgYwvgIzl8K&t=2772

[16] Season One | The Robot Brains Podcast，“第 1 季第 22 集 OpenAI 的 Ilya Sutskever：让 AI 工作的人”，YouTube，2021 年 9 月 21 日。https://youtu.be/fCoavgGZ64Y?si=R\_tfONE0OCdShCEk&t=1780

[17] 同[14]。

[18] CNBC Television，“Elon Musk on Sam Altman and ChatGPT: I am the reason OpenAI exists”，YouTube，2023 年 5 月 16 日。https://youtu.be/bWr-DA5Wjfw?si=PKSg9nuLEyWhVKHU&t=203

[19] J. Hart and A. Mok，“见见 OpenAI 联合创始人 Ilya Sutskever，他支持然后又后悔了 Sam Altman 的解雇”，Business Insider，2023 年 11 月 20 日。https://www.businessinsider.com/meet-openai-cofounder-ilya-sutskever-supported-regretted-sam-altman-firing-2023-11#at-the-end-of-2015-ilya-sutskever-cofounded-open-ai-with-ex-ceo-sam-altman-7

[20] 同[14]。

[21] OpenAI，“介绍 OpenAI”，OpenAI 博客（由 Internet Archive 存档），2015 年 12 月 11 日。https://web.archive.org/web/20211006105333/https://openai.com/blog/introducing-openai/

[22] 同[14]。

[23] OpenAI，“OpenAI Gym (Beta)”，OpenAI，2016 年 5 月 4 日。https://openai.com/index/openai-gym-beta/

[24] OpenAI，“Dota 2”，OpenAI，2017 年 6 月 30 日。https://openai.com/index/dota-2/

[25] “Elon Musk is leaving the board of OpenAI”，CNBC，2018 年 2 月 21 日。https://www.cnbc.com/2018/02/21/elon-musk-is-leaving-the-board-of-openai.xhtml

[26] 同[16]。

[27] S. Jackson，“据报道，Elon Musk 在 2018 年离开了 OpenAI 的董事会，因为 Sam Altman 和其他联合创始人拒绝了他领导公司的计划”，Business Insider，2023 年 3 月 24 日。https://www.businessinsider.com/elon-musk-reportedly-tried-lead-openai-left-after-founders-objected-2023-3

[28] A. Hern，“新的 AI 假文本生成器可能过于危险而无法发布，创作者说”，The Guardian，2019 年 2 月 14 日。https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction

[29] 特别是在 2020 年的论文“Language Models are Few-Shot Learners”中。

[30] “为 ChatGPT 赋能的大脑：ImageNet、TensorFlow”，Analytics India Magazine，未注明日期。https://analyticsindiamag.com/ai-features/the-brain-that-supercharged-chatgpt-imagenet-tensorflow/

[31] 同[20]。

[32] I. Sutskever (@ilyasut)，“也许今天的大型神经网络有轻微的意识”，X，2022 年 2 月 9 日。https://x.com/ilyasut/status/1491554478243258368

[33] A. Karpathy (@karpathy)，“@ilyasut @vkhosla 同意……意识是一个有用的见解……”，X，2022 年 2 月 10 日。https://x.com/karpathy/status/1491608794253512707

[34] Y. LeCun (@ylecun)，“@ilyasut 不。对于‘轻微意识’的小值也不成立……”，X，2022 年 2 月 12 日。https://x.com/ylecun/status/1492604977260412928

[35] M. Shanahan (@mpshanahan)，“@ilyasut …… 一大片麦田有点像意大利面……”，X，2022 年 2 月 10 日。https://x.com/mpshanahan/status/1491715721289678848

[36] B. Nguyen，“OpenAI 承诺将其 20%的计算能力用于应对人工智能的存在威胁。消息人士称，这从未发生”，Fortune，2024 年 5 月 21 日。https://fortune.com/2024/05/21/openai-superalignment-20-compute-commitment-never-fulfilled-sutskever-leike-altman-brockman-murati/

[37] OpenAI，“介绍超级对齐”，OpenAI，2023 年 7 月 5 日。https://openai.com/index/introducing-superalignment/

[38] V. Tangermann，“OpenAI 员工称公司首席科学家一直在做出奇怪的精神主张”，Futurism，2023 年 11 月 20 日。https://futurism.com/openai-employees-say-firms-chief-scientist-has-been-making-strange-spiritual-claims

[39] K. Hao and C. Warzel，“OpenAI 内部的混乱”，The Atlantic，2023 年 11 月 19 日。https://www.theatlantic.com/technology/archive/2023/11/sam-altman-open-ai-chatgpt-chaos/676050/

[40] “OpenAI 的 Sutskever 表示他后悔董事会解雇 Altman”，Axios，2023 年 11 月 20 日。[在线]。可用：https://www.axios.com/2023/11/20/sam-altman-fired-openai-board-illya-sutsever-regrets

[41] 同[39]。

[42] “OpenAI 联合创始人 Sutskever 的新安全 focus AI 初创公司 SSI 筹集了 10 亿美元”，Reuters，2024 年 9 月 4 日。https://www.reuters.com/technology/artificial-intelligence/openai-co-founder-sutskevers-new-safety-focused-ai-startup-ssi-raises-1-billion-2024-0-04

参考文献

萨姆·奥特曼被罢免与 OpenAI 董事会危机 ([43]–[58])

[43] “萨姆·奥特曼在 OpenAI 被罢免是由一封关于 AI 突破的致董事会信件引发的，”路透社，2023 年 11 月 22 日。 www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22

[44] 同 [43]

[45] 同 [1]

[46] 同 [2]

[47] “报道：苏茨克维因 AI 安全担忧领导了 OpenAI 董事会政变罢免了奥特曼，”Ars Technica，2023 年 11 月。 arstechnica.com/information-technology/2023/11/report-sutskever-led-board-coup-at-openai-that-ousted-altman-over-ai-safety-concerns/

[48] 同 [43]

[49] I. Sutskever（@ilyasut），“X 上的帖子，”X，2023 年 11 月 20 日。 x.com/ilyasut/status/1726590052392956028

[50] OpenAI（@OpenAI），“X 上的帖子，”X，2023 年 11 月 22 日。 x.com/OpenAI/status/1727206187077370115

[51] 同 [50]

[52] 同 [37]

[53] K. Hao，“人工智能帝国：在争夺全面统治的鲁莽竞赛内部（节选），”大西洋月刊，2025 年 5 月。 www.theatlantic.com/technology/archive/2025/05/karen-hao-empire-of-ai-excerpt/682798/

[54] Al-Sibai，“声称神经网络可能已有意识的科学家在领导反对萨姆·奥特曼的政变后离开 OpenAI，”Futurism（The Byte），2024 年 5 月 15 日。 futurism.com/the-byte/ilya-sutskever-leaves-openai

[55] “OpenAI 辞职：AI 安全、Ilya Sutskever、Jan Leike、人工智能，”Vox（Future Perfect），2024 年 5 月 17 日。 www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence

[56] J. Leike（@janleike），“X 上的帖子，”X，2024 年 5 月 17 日。 x.com/janleike/status/1791498174659715494

[57] 同 [43]

[58] 同 [29]

GPT-2“危险 AI”争议 ([59]–[75])

[59] “人工智能、OpenAI 和自然语言处理，”Vox（Future Perfect），2019 年 2 月 14 日。 www.vox.com/future-perfect/2019/2/14/18222270/artificial-intelligence-open-ai-natural-language-processing

[60] J. Vincent，“OpenAI 的新 AI 写作、翻译和诽谤，”Verge，2019 年 2 月 14 日。 www.theverge.com/2019/2/14/18224704/ai-machine-learning-language-models-read-write-openai-gpt2

[61] “OpenAI 文本生成器危险，”TechCrunch，2019 年 2 月 17 日。 techcrunch.com/2019/02/17/openai-text-generator-dangerous

[62] 同 [60]

[63] “OpenAI 的 GPT-2：模型、炒作和争议，”Medium，无日期。 medium.com/data-science/openais-gpt-2-the-model-the-hype-and-the-controversy-1109f4bfd5e8

[64] OpenAI，“更好的语言模型及其影响，”OpenAI，2019 年 2 月 14 日。 openai.com/index/better-language-models/

[65] I. Goodfellow 等人，“生成对抗网络，”arXiv:1406.2661，2014 年 6 月。 arxiv.org/abs/1406.2661

[66] T. Simonite，“过于危险而不能公开的 AI 文本生成器，”连线，2019 年 2 月 14 日。 www.wired.com/story/ai-text-generator-too-dangerous-to-make-public/

[67] 同 [63]

[68] “OpenAI，请开源你的语言模型，”The Gradient，无日期。 thegradient.pub/openai-please-open-source-your-language-model/

[69] 同 [65]

[70] 同 [65]

[71] OpenAI，“GPT-2：6 个月后续，”OpenAI，2019 年 8 月 20 日。 openai.com/index/gpt-2-6-month-follow-up/

[72] “对开源最先进对话 AI 的伦理分析，”Medium（Hugging Face），无日期。 medium.com/huggingface/ethical-analysis-of-the-open-sourcing-of-a-state-of-the-art-conversational-ai-852113c324b2

[73] “我们为什么发布 Grover，”The Gradient，无日期。 thegradient.pub/why-we-released-grover/

[74] Google Research，“Imagen，”无日期。 imagen.research.google

[75] OpenAI，“GPT-2：1.5B 版本发布，”OpenAI，2019 年 11 月 5 日。 openai.com/index/gpt-2-1-5b-release/

其他 AI 发展与来源 ([76]–[86])

[76] “Meta 的大语言模型 AI 在互联网上仅存活了三天就被下架，”麻省理工科技评论，2022 年 11 月 18 日。 www.technologyreview.com/2022/11/18/1063487/meta-large-language-model-ai-only-survived-three-days-gpt-3-science/

[77] K. Chan 和 M. O'Brien，“Google 暂停 Gemini AI 聊天机器人生成人物图像的能力，”美联社，2024 年 2 月 22 日。 apnews.com/article/google-gemini-ai-chatbot-image-generation-1bd45f1e67dfe0f88e5419a6efe3e06f

[78] 同 [48]

[79] 同 [47]

[80] “OpenAI 首席科学家 Ilya Sutskever 离职，”Verge，2024 年 5 月 14 日。 www.theverge.com/2024/5/14/24156920/openai-chief-scientist-ilya-sutskever-leaves

[81] G. Hunter，“独家问答：John Carmack 通往通用人工智能的‘不同路径’，”Dallas Innovates，2023 年 2 月 2 日。 dallasinnovates.com/exclusive-qa-john-carmacks-different-path-to-artificial-general-intelligence

[82] K. Hu，“ChatGPT 创下用户增长最快纪录——分析师报告，”路透社，2023 年 2 月 1 日。 www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/

[83] Hacker News，“Ilya Sutskever 给 John Carmack 的清单上有哪些论文？，”2023 年 2 月 3 日。 news.ycombinator.com/item?id=34641359

[84] J. Carmack（@ID_AA_Carmack），“X 上的帖子，”X，2023 年 2 月 6 日。 x.com/ID\_AA\_Carmack/status/1622673143469858816

[85] dzyim，“ilya-sutskever-recommended-reading，”GitHub 仓库，无日期。 github.com/dzyim/ilya-sutskever-recommended-reading?tab=readme-ov-file

[86] keshavchan（@keshavchan），“X 上的帖子，”X，2024 年 5 月 7 日。 x.com/keshavchan/status/1787861946173186062

[87] W. D. Heaven，《独家：伊利亚·苏茨克维，OpenAI 首席科学家，谈他对 AI 未来的希望与恐惧》，《麻省理工科技评论》，2023 年 10 月 26 日。www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

[88] V. Kuka，《神秘的 AI 阅读清单：伊利亚·苏茨克维的推荐》，《图灵邮报》，2024 年 5 月 19 日。www.turingpost.com/p/ilya-sutskever-reading-list

[89] 微软研究院，《NIPS：口头报告 4 – 伊利亚·苏茨克维》，视频，2014 年 12 月 9 日（9:23）。t.co/sJa4QJJVu2

第二章

[1] J.J. Hopfield，《具有涌现集体计算能力的神经网络与物理系统》，《美国国家科学院院刊》 79, no. 8 (1982): 2554-2558。doi.org/10.1073/pnas.79.8.2554

[2] Y. LeCun, L. Bottou, Y. Bengio, P. Haffner，《基于梯度的学习应用于文档识别》，《IEEE 会议录》 86, no. 11 (1998 年 11 月): 2278–2324, doi: 10.1109/5.726791。vision.stanford.edu/cs598\_spring07/papers/Lecun98.pdf

[3] J. Schmidhuber，《DanNet 触发深度 CNN 革命》，IDSIA，2011 年。people.idsia.ch/~juergen/DanNet-triggers-deep-CNN-revolution-2011.xhtml

[4] Y. LeCun, Y. Bengio, G. Hinton，《深度学习》，《自然》 521 (2015): 436–444。doi.org/10.1038/nature14539

[5] D. E. Rumelhart, G. E. Hinton, R. J. Williams，《通过反向传播误差学习表征》，《自然》，323, no. 6088 (1986 年 10 月): 533–536, doi: 10.1038/323533a0。https://www.nature.com/articles/323533a0

[6] T. B. Lee，《一个固执的计算机科学家如何意外地开启了深度学习繁荣》，Ars Technica，2024 年 11 月 11 日。https://arstechnica.com/ai/2024/11/how-a-stubborn-computer-scientist-accidentally-launched-the-deep-learning-boom/

[7] M. Ford，《智能架构：来自构建者的人工智能真相》。英国伯明翰：Packt 出版社，2018 年，第 4 页。

[8] C. Cortes, V. Vapnik，《支持向量网络》，《机器学习》 20, no. 3 (1995 年 9 月): 273–297, doi:10.1007/BF00994018

[9] The Gradient，《视觉深度学习的局限性以及我们如何修复它们》。thegradient.pub/the-limitations-of-visual-deep-learning-and-how-we-might-fix-them

[10] Y. LeCun, Y. Bengio, G. Hinton，《深度学习》，《自然》 521, no. 7553 (2015 年 5 月): 436–444, doi: 10.1038/nature14539。www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

[11] G. E. Hinton, S. Osindero, Y.-W. Teh，《深度信念网络的一种快速学习算法》，《神经计算》 18, no. 7 (2006 年 7 月): 1527–1554, doi: 10.1162/neco.2006.18.7.1527。www.cs.toronto.edu/~hinton/absps/ncfast.pdf

[12] Y. Bengio, P. Lamblin, D. Popovici, H. Larochelle，《深度网络的贪婪分层训练》，载于《神经信息处理系统进展（NIPS）》19 (2007): 153–160

[13] 同 [7]

[14] 计算机视觉博客，《从特征描述符到深度学习》，2015 年 1 月。www.computervisionblog.com/2015/01/from-feature-descriptors-to-deep.xhtml

[15] D. G. Lowe，《来自尺度不变关键点的独特图像特征》，《国际计算视觉期刊》 60, no. 2 (2004 年 11 月): 91–110, doi: 10.1023/B:VISI.0000029664.99615.94。www.cs.ubc.ca/~lowe/papers/ijcv04.pdf

[16] G. Csurka, C. Dance, L. Fan, J. Willamowski, C. Bray，《使用关键点袋的视觉分类》，载于《计算机视觉——ECCV 2006》，A. Leonardis, H. Bischof, A. Pinz（编），德国柏林：Springer，2006 年，第 404–417 页，doi: 10.1007/11744023_32

[17] G. Csurka, C. Dance, L. Fan, J. Willamowski, C. Bray，《使用关键点袋的视觉分类》，载于《ECCV 计算机视觉统计学习研讨会论文集，2004》，第 59–74 页。www.cs.cmu.edu/~efros/courses/LBMV07/Papers/csurka-eccv-04.pdf

[18] YouTube，《伊利亚·苏茨克维在 2018 年 AI Frontiers：来自 OpenAI 的深度学习和 AI 的最新进展》。youtu.be/ElyFDUab30A?si=J48mzXqevdfY5oJV&t=1640

[19] Carl Vondrick, Aditya Khosla, Tomasz Malisiewicz, Antonio Torralba，《HOGLES：可视化目标检测特征》，2013 年 IEEE 国际计算机视觉会议，2013 年 12 月 1–8 日，澳大利亚新南威尔士州悉尼，第 1–9 页。

[20] 此外，许多人认为图像信号噪声太大、维度太高，通用学习算法无法从中识别出稳健的视觉特征。例如，参见 Y. Bengio 和 Y. LeCun，《将学习算法扩展到 AI》，载于《大规模核机器》，L. Bottou, O. Chapelle, D. DeCoste, J. Weston（编），马萨诸塞州剑桥：MIT 出版社，2007 年，特别是关于原始像素上 SVM 的讨论以及对干扰变化/背景杂波的敏感性。

[21] 例如，G. Hinton

[22] N. Dalal, B. Triggs，《用于人体检测的方向梯度直方图》，载于《IEEE 计算机学会计算机视觉与模式识别会议（CVPR）论文集》，加利福尼亚州圣迭戈，2005 年，第 886–893 页，doi: 10.1109/CVPR.2005.177

[23] PubMed Central，《使用人类脑活动来指导机器学习》。https://pmc.ncbi.nlm.nih.gov/articles/PMC5876362/

[24] R. Benenson, M. Omran, J. Hosang, B. Schiele，《行人检测十年，我们学到了什么》，arXiv [cs.CV]，2014 年

[25] P. F. Felzenszwalb, R. B. Girshick, D. McAllester, D. Ramanan，《使用判别式训练的部件模型进行目标检测》，《IEEE 模式分析与机器智能汇刊》 32, no. 9 (2010 年 9 月): 1627–1645, doi: 10.1109/TPAMI.2009.167。cs.brown.edu/people/pfelzens/papers/lsvm-pami.pdf

[26] 计算机视觉博客，《从特征描述符到深度学习》，2015 年 1 月。https://www.computervisionblog.com/2015/01/from-feature-descriptors-to-deep.xhtml

[27] SciLogs（科学光谱），《数据异常有效，且有大量数据可探索》。https://scilogs.spektrum.de/hlf/data-is-unreasonably-effective-and-there-is-plenty-of-it-to-explore

[28] A. Torralba, A. A. Efros，《对数据集偏差的无偏审视》，载于《IEEE 计算机视觉与模式识别会议（CVPR）论文集》，科罗拉多州斯普林斯，2011 年，第 1521–1528 页，doi: 10.1109/CVPR.2011.5995347。people.csail.mit.edu/torralba/publications/datasets\_cvpr11.pdf

[29] 李飞飞，《我所见的世界：AI 黎明时的好奇心、探索与发现》。纽约：Moment of Lift Books；Flatiron Books，2023 年

[30] The Gradient，《视觉深度学习的局限性以及我们如何修复它们》。https://thegradient.pub/the-limitations-of-visual-deep-learning-and-how-we-might-fix-them

[31] 李飞飞，《我所见的世界：AI 黎明时的好奇心、探索与发现》。Kindle 版，第 194 页

[32] YouTube，《我们（仍然！）没有给予数据足够的信任：Alyosha Efros，在 ACVSS 24 的主题演讲》。www.youtube.com/watch?v=dV6sgUiGv-U

[33] 同 [24]

[34] The Guardian，"科技巨头数据"，2013 年 8 月 23 日。 https://www.theguardian.com/technology/2013/aug/23/tech-giants-data

[35] Medium，"数据是新的石油：一个荒谬的命题"。 https://medium.com/project-2030/data-is-the-new-oil-a-ludicrous-proposition-1d91bba4f294

[36] A. Halevy, P. Norvig, and F. Pereira，"The unreasonable effectiveness of data"，IEEE Intelligent Systems 4, no. 2 (Mar.-Apr.2009): 8–12, doi: 10.1109/MIS.2009.36

[37] Facebook。 https://www.facebook.com/story.php?story_fbid=pfbid0b6rC7KJFHvxLJJbPtHyz53Ffjv9YWRJ3uQc6taVpv9CdqDUZ2z2ywbGDhdgZKx5Hl&id=1533402400

[38] HLF Foundation Newsroom，"数据异常有效，而且有大量数据可供探索"。 https://www.newsroom.hlf-foundation.org/blog/article/data-is-unreasonably-effective-and-there-is-plenty-of-it-to-explore/

[39] A. Efros，"我们仍然没有给数据足够的信任吗？"，Hasso Plattner Institute / HLF Foundation Newsroom，视频讲座。 https://www.newsroom.hlf-foundation.org/newsroom/lectures/video/lecture-are-we-still-not-giving-data-enough-credit/

[40] Simons Institute for the Theory of Computing，"Stone soup AI"。 https://simons.berkeley.edu/news/stone-soup-ai

[41] 同 [31]

[42] 同 [36]

[43] Slow Thoughts，"看见光"。 https://slow-thoughts.com/seeing-the-light/

[44] Irving Biederman，"Recognition-by-components: A theory of human image understanding"，Psychological Review 94, no. 2 (1987), pp. 115–117. doi: 10.1037/0033-295x.94.2.115

[45] O. Russakovsky et al.，"ImageNet Large Scale Visual Recognition Challenge"，arXiv [cs.CV], 2015。 https://arxiv.org/abs/1409.0575

[46] ImageNet，"PASCAL/ILSVRC information (PDF)"。 https://image-net.org/static_files/files/pascal_ilsvrc.pdf

[47] ImageNet，"ILSVRC 2011"。 https://www.image-net.org/challenges/LSVRC/2011/index.php

[48] 同 [39]

[49] Stacker News。 https://stacker.news/items/762990

[50] D. C. Ciresan, U. Meier, J. Masci, L. M. Gambardella, J. Schmidhuber. "Flexible, high performance convolutional neural networks for image classification," International Joint Conference on Artificial Intelligence (IJCAI-2011), Barcelona, 2011

[51] D. C. Ciresan, U. Meier, J. Masci, J. Schmidhuber. "A Committee of neural networks for traffic sign classification," International Joint Conference on Neural Networks (IJCNN-2011), San Francisco, CA, 2011

[52] D. C. Ciresan, U. Meier, and J. Schmidhuber，"Multi-column deep neural networks for image classification"，in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2012), Jul. 2012, pp. 3642–3649

[53] M. Everingham, S. M. A. Eslami, L. Van Gool, C. K. I. Williams, J. Winn, and A. Zisserman，"The PASCAL Visual Object Classes (VOC) challenge: A retrospective"，International Journal of Computer Vision 111, no. 1 (Jan. 2015): 98–136, doi: 10.1007/s11263 -014-0733-5。 https://link.springer.com/article/10.1007/s11263-014-0733-5

[54] 同 [49]

[55] Cross Validated (Stack Exchange)，"在反向传播中将所有初始权重设为零的危险"。 https://stats.stackexchange.com/questions/27112/danger-of-setting-all-initial-weights-to-zero-in-backpropagation

[56] G. Philipp, D. Song, and J. G. Carbonell，"The exploding gradient problem demystified—definition, prevalence, impact, origin, tradeoffs, and solutions"，arXiv [cs.LG], 2017。 https://arxiv.org/abs/1712.05577

[57] G. E. Hinton and R. R. Salakhutdinov，"Reducing the dimensionality of data with neural networks"，Science 313, no. 5786 (Jul. 2006): 504–507, doi: 10.1126/science .1127647。 https://www.cs.toronto.edu/~hinton/absps/science.pdf

[58] D. Erhan, Y. Bengio, A. Courville, P. Manzagol, P. Vincent, and S. Bengio，"Why does unsupervised pre-training help deep learning?"，Journal of Machine Learning Research, 2010。

[59] G. E. Hinton and R. R. Salakhutdinov，"Reducing the dimensionality of data with neural networks"，Science, July 2006

[60] Y. Bengio, P. Lamblin, D. Popovici, and H. Larochelle，"Greedy layer-wise training of deep networks"，In NIPS, 2007

[61] 例如，Lex Fridman Podcast。 https://youtu.be/13CZPWmke6A?si=sSJdJMX67OGeINFZ&t=209

[62] 正如 Martens 所说："The difficulty associated with learning deep autoencoders is better explained by regions of pathological curvature, which to first-order optimization methods resemble bad local minima." J. Martens，"Deep learning via Hessian-free optimization"，in Proceedings of the 27th International Conference on Machine Learning (ICML), 2010

[63] 同 [58]

[64] ICML，"Learning recurrent neural Nntworks with Hessian-free optimization"，2011。 https://icml.cc/Conferences/2011/papers/532_icmlpaper.pdf

[65] Semantic Scholar，"PDF."。 https://pdfs.semanticscholar.org/6503/e264e4fdecb22ab0f5d081123814ec242d86.pdf

[66] YouTube，"Ilya Sutskever: Deep learning | Lex Fridman Podcast #94" (5:13)。 https://youtu.be/13CZPWmke6A?si=pnioUssu8jioetYP

[67] A. Krizhevsky, I. Sutskever, and G. E. Hinton，"ImageNet classification with deep convolutional neural networks"，Advances in Neural Information Processing Systems (NIPS) 25 (2012): 1097–1105。 https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

[68] G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever, and R. R. Salakhutdinov，"Improving neural networks by preventing co-adaptation of feature detectors"，arXiv:1207.0580, 2012。 https://arxiv.org/pdf/1207.0580

[69] Nair 和 Hinton (2010) 的早期研究为受限玻尔兹曼机引入了 ReLU，而 Jarrett 等人 (2009) 在较小的 CNN 中探索了替代激活函数。V. Nair and G. E. Hinton，"Rectified linear units improve restricted Boltzmann machines"，in Proceedings of the 27th International Conference on Machine Learning (ICML), 2010；and K. Jarrett, K. Kavukcuoglu, M. Ranzato, and Y. LeCun，"What is the best multi-stage architecture for object recognition?"，in Proceedings on the IEEE International Conference on Computer Vision (ICCV), 2009

[70] 此外，ReLU 诱导了稀疏激活，意味着许多神经元输出为零，这减少了神经元间的协同适应，并有助于 ReLU 在训练中的整体效果。

[71] N. 斯里瓦斯塔瓦、G. 辛顿、A. 克里热夫斯基、I. 苏茨克维和 R. 萨拉赫丁诺夫，《Dropout：防止神经网络过拟合的简单方法》，《机器学习研究杂志》 第 15 卷第 1 期（2014 年），第 1929–1958 页。www.cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf

[72] 同[67]

[73] Sutskever 列表中的 CS231n 讨论了反向 dropout：斯坦福 CS231n，《神经网络第 2 部分：设置数据和损失》。cs231n.github.io/neural-networks-2/#reg；以及斯坦福 CS231n，《第 6 讲幻灯片（2016 年冬季）》，cs231n.stanford.edu/slides/2016/winter1516\_lecture6.pdf

[74] S. 约费和 C. 谢格迪，《批归一化：通过减少内部协变量偏移加速深度网络训练》，载于《第 32 届国际机器学习会议论文集（ICML），2015 年》，第 448–456 页。arxiv.org/abs/1502.03167

[75] 《MIT 技术评论》，《独家：伊利亚·苏茨克维，OpenAI 首席科学家，谈他对人工智能未来的希望与恐惧》，2023 年 10 月 26 日。www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

[76] D.C. 塞雷桑、U. 迈尔、J. 马斯奇、L.M. 甘巴尔代拉和 J. 施米德胡伯，《用于视觉物体分类的高性能神经网络》，arXiv 预印本，arXiv:1102.0183，2011 年

[77] Y. 勒康、Y. 本吉奥和 G. 辛顿，《深度学习》，《自然》 第 521 卷（2015 年），第 436–444 页。doi.org/10.1038/nature14539

[78] 同[63]

[79] 同[62]（2 分 22 秒）

[80] 同[74]

[81] L. 卢、Y. 申、Y. 苏和 G. 埃姆·卡尼亚达基斯，《死亡 ReLU 与初始化：理论与数值示例》，《计算物理通讯》 第 28 卷第 5 期（2020 年 6 月），第 1671–1706 页。arxiv.org/abs/1903.06733

[82] M. D. 泽勒和 R. 弗格斯，《可视化与理解卷积网络》，载于《计算机视觉–ECCV 2014》，D. 弗利特、T. 帕伊德拉、B. 谢勒和 T. 图伊特拉尔斯（编），瑞士查姆：斯普林格出版社，2014 年，第 818–833 页，doi: 10.1007/978-3-319-10590-1_53。arxiv.org/abs/1311.2901

[83] 《经济学人》，《从不工作到神经网络》，2016 年 6 月 23 日。www.economist.com/special-report/2016/06/23/from-not-working-to-neural-networking

[84] 何恺明、张祥雨、任少卿和孙剑（2016 年）。《深度残差学习用于图像识别》，载于《2016 年 IEEE 计算机视觉与模式识别会议（CVPR）》，2016 年，第 770–778 页

[85] 雅各布·阿伦，《放弃图灵测试——有更好的方法来评判 AI》，《新科学家》，2015 年 9 月 21 日。www.newscientist.com/article/dn28206-forget-the-turing-test-there-are-better-ways-of-judging-ai/

[86] R. 吉尔希克、J. 多纳休、T. 达雷尔和 J. 马利克，《用于精确物体检测和语义分割的丰富特征层次》，载于《IEEE 计算机视觉与模式识别会议论文集（CVPR）》，2014 年，第 580–587 页，doi: 10.1109/CVPR.2014.81。www.cv-foundation.org/openaccess/content\_cvpr\_2014/papers/Girshick\_Rich\_Feature\_Hierarchies\_2014\_CVPR\_paper.pdf

[87] 《ACM 通讯》，《技术视角：是什么引领计算机视觉走向深度学习？》cacm.acm.org/research/technical-perspective-what-led-computer-vision-to-deep-learning/

[88] YouTube，《吉滕德拉·马利克：计算机视觉 | 莱克斯·弗里德曼播客第 110 期》（01:26:57）。youtu.be/LRYkH-fAVGE?si=B0Bg0BDOuXAJZ\_jO&t=5214

[89] M.D. 泽勒和 R. 弗格斯，《可视化与理解卷积网络》，CoRR，abs/1311.2901，2013 年。

[90] 《MIT 技术评论》，《2013 年十大突破性技术》，2013 年 4 月 23 日。www.technologyreview.com/2013/04/23/178729/the-10-breakthrough-technologies-of-2013/

[91] 《纽约时报》，《类脑计算机从经验中学习》，2013 年 12 月 29 日。www.nytimes.com/2013/12/29/science/brainlike-computers-learning-from-experience.xhtml

[92] 《卫报》，《AI：尤金·古斯特曼人工智能》，2014 年 6 月 11 日。www.theguardian.com/commentisfree/2014/jun/11/ai-eugene-goostman-artificial-intelligence

[93] I. 苏茨克维、J. 马滕斯、G. 达尔和 G. E. 辛顿，《论深度学习中初始化与动量的重要性》，载于《第 30 届国际机器学习会议论文集（ICML）》，2013 年，第 1139–1147 页。proceedings.mlr.press/v28/sutskever13.xhtml

Chapter 3

[1] 谷歌，《添加残差连接》，谷歌搜索结果，2025 年 6 月 14 日。www.google.com/search?q=add+a+residual+connection

[2] A. 克里斯蒂亚迪，《残差网络》，2016 年 10 月 13 日。agustinus.kristia.de/blog/residual-net/

[3] A. 林，《微软研究人员赢得 ImageNet 计算机视觉挑战赛》，微软：人工智能博客，2015 年 12 月 10 日。blogs.microsoft.com/ai/microsoft-researchers-win-imagenet-computer-vision-challenge/

[4] H. 萨霍塔，《ResNet：一篇论文如何永远改变深度学习》，Comet 博客，2023 年 10 月 6 日。www.comet.com/site/blog/resnet-how-one-paper-changed-deep-learning-forever

[5] DeepLabCut，《我应该使用什么神经网络？（权衡、速度性能与注意事项）》，DeepLabCut 维基（GitHub），2021 年 5 月 26 日。github.com/DeepLabCut/DeepLabCut/wiki/What-neural-network-should-I-use%3F-(Trade-offs,-speed-performance,-and-considerations

[6] Reddit，r/MachineLearning，《D：ResNets 是否已经达到了极致？》讨论帖。www.reddit.com/r/MachineLearning/comments/nbgb6a/d\_are\_resnets\_as\_good\_as\_it\_gets/

[7] ptidor.com，《大型 CNN》。ptidor.com/large\_cnn.pdf

[8] S. 谢、R. 吉尔希克、P. 多拉尔、Z. 涂和 K. 何，《用于深度神经网络的聚合残差变换》，arXiv:1611.05431，2016 年 11 月。arxiv.org/pdf/1611.05431

[9] C. 谢格迪等人，《Going deeper with convolutions》，arXiv:1409.4842，2014 年 9 月。arxiv.org/abs/1409.4842

[10] C. Szegedy, S. Ioffe, V. Vanhoucke, and A. Alemi, “Inception-v4、Inception-ResNet 以及残差连接对学习的影响,” arXiv:1602.07261, 2016 年 2 月. arxiv.org/abs/1602.07261

[11] 同[8]

[12] J. Hu, L. Shen, S. Albanie, G. Sun, and E. Wu, “压缩与激励网络,” arXiv:1709.01507, 2017 年 9 月. arxiv.org/abs/1709.01507

[13] S. Y. Wang and T. Guo, “基于迁移学习的疲劳裂纹萌生位点检测算法：一项对比研究,” 材料前沿 8, (2021 年 8 月): art. 756798, doi: 10.3389/fmats.2021.756798. www.frontiersin.org/journals/materials/articles/10.3389/fmats.2021.756798/full

[14] W. Xu 等, “ResNet 及其在医学图像处理中的应用：研究进展与挑战,” 生物医学中的计算机方法与程序 240 (2023 年 10 月): art. 107660, doi: 10.1016/j.cmpb.2023.107660. pubmed.ncbi.nlm.nih.gov/37320940

[15] N. Barla, “使用卷积神经网络（CNN）的自动驾驶汽车,” Neptune.ai 博客, 2024 年 4 月 22 日. neptune.ai/blog/self-driving-cars-with-convolutional-neural-networks-cnn

[16] J. Cohen, “特斯拉 Autopilot 是如何工作的,” ThinkAutonomous, 2021 年 7 月 1 日. www.thinkautonomous.ai/blog/how-tesla-autopilot-works/

[17] J. Arun Pandian, R. Thirunavukarasu, and L. Thanga Mariappan, “利用多臂老丨虎丨机集成学习提升自动驾驶车辆的车道检测,” 科学报告 15 (2025 年 1 月): art. 3198, doi: 10.1038/s41598-025-86743-z. www.nature.com/articles/s41598-025-86743-z

[18] 同[10]

[19] H. Zhang 等, “ResNeSt：分裂注意力网络,” arXiv:2004.08955, 2020 年 4 月. arxiv.org/abs/2004.08955

[20] K. He, G. Gkioxari, P. Dollár, and R. Girshick, “Mask R-CNN,” in IEEE 国际计算机视觉大会论文集（ICCV）, 2017. openaccess.thecvf.com/content\_ICCV\_2017/papers/He\_Mask\_R-CNN\_ICCV\_2017\_paper.pdf

[21] A. Krizhevsky, “从小图像中学习多层特征,” 技术报告, 多伦多大学, 2009 年.

[22] A. Veit, M. Wilber, and S. Belongie, “残差网络表现得像相对浅层网络的集成,” arXiv:1605.06431, 2016 年 5 月. arxiv.org/abs/1605.06431

[23] Y.-L. Boureau, J. Ponce, and Y. LeCun, “视觉识别中特征池化的理论分析,” in 第 27 届国际机器学习大会论文集（ICML）, 2010 年, pp. 111–118

[24] V. Dumoulin and F. Visin, “深度学习卷积运算指南,” arXiv:1603.07285, 2016 年 3 月. arxiv.org/pdf/1603.07285

[25] F. Yu and V. Koltun, “通过空洞卷积进行多尺度上下文聚合,” arXiv:1511.07122, 2015 年 11 月. arxiv.org/pdf/1511.07122

[26] Jonathan Long, Evan Shelhamer, and Trevor Darrell, “用于语义分割的全卷积网络,” in CVPR, 2015 年. arxiv.org/abs/1411.4038

[27] Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, and Alan I. Yuille, “使用深度卷积网络和全连接 CRF 的图像语义分割,” in ICLR, 2015a. arxiv.org/abs/1412.7062

[28] 同[3]

[29] O. Russakovsky 等, “ImageNet 大规模视觉识别挑战赛,” arXiv:1409.0575, 2014 年 9 月. arxiv.org/pdf/1409.0575

[30] M. Mitchell, 人工智能：思考人类的指南. 纽约: Farrar, Straus and Giroux, 2019 年

[31] Hang Zhang, Chongruo Wu, Zhongyue Zhang, Yi Zhu, Haibin Lin, Zhi Zhang, Yue Sun, Tong He, Jonas Mueller, R. Manmatha, Mu Li, and Alexander Smola, “ResNeSt：分裂注意力网络,” 2020 年. arxiv.org/abs/2004.08955. 另见 gluon-cv.mxnet.io/model\_zoo/classification.xhtml#id250 了解代码和可视化。

[32] 近年来，top-1 准确率被更频繁地报告。

[33] R. McMillan, “这个人击败了谷歌的超级人工智能——但这并不容易,” 《连线》, 2015 年 1 月 21 日. www.wired.com/2015/01/karpathy/

[34] 同[31]

[35] R. C. Johnson, “微软、谷歌在图像识别上击败人类,” EE Times, 2015 年 2 月 18 日. www.eetimes.com/microsoft-google-beat-humans-at-image-recognition

[36] M. Wilson, “微软软件识别图像比人类更好,” Fast Company, 2015 年 2 月 11 日. www.fastcompany.com/3042239/microsoft-software-recognizes-images-better-than-humans-do

[37] A. Hern, “如今计算机在识别和排序图像方面比人类更出色,” 《卫报》, 2015 年 5 月 13 日. www.theguardian.com/global/2015/may/13/baidu-minwa-supercomputer-better-than-humans-recognising-images

[38] Entrepreneur, “人工智能能比人类更好地识别图片吗?” 2017 年 4 月 1 日. www.entrepreneur.com/science-technology/can-artificial-intelligence-identify-pictures-better-than/283990

[39] 同[7]

[40] T. Simonite, “当涉及大猩猩时，谷歌照片仍然‘失明’,” 《连线》, 2018 年 1 月 11 日. www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/

[41] J. Shlens, “在 TensorFlow 中使用 Inception 训练你自己的图像分类器,” Google Research Blog, 2016 年 3 月 9 日. research.google/blog/train-your-own-image-classifier-with-inception-in-tensorflow/

[42] 斯坦福大学, “Andrej Karpathy,” cs.stanford.edu/people/karpathy/

[43] 斯坦福大学, “CS231n：用于视觉识别的卷积神经网络（2016 年春季）.” cs231n.stanford.edu/2016/

[44] 斯坦福大学, “CS231n（2016 年春季）课程表,” cs231n.stanford.edu/schedule.xhtml

[45] 斯坦福大学, “CS231n 第 6 讲幻灯片,” 2025 年. cs231n.stanford.edu/slides/2025/lecture\_6.pdf

[46] 《斯坦福日报》, “斯坦福大学计算机科学课程中人工智能的崛起,” 2021 年 2 月 4 日. stanforddaily.com/2021/02/04/the-rise-of-ai-in-stanfords-cs-curricula/

[47] R. S. Sutton, “痛苦的教训,” 2019 年 3 月 13 日. www.incompleteideas.net/IncIdeas/BitterLesson.xhtml

[48] 路透社，“伊利亚·苏茨克维：人工智能将如何改变他的新创业公司 Safe Superintelligence”，2024 年 9 月 5 日。 www.reuters.com/technology/artificial-intelligence/ilya-sutskever-how-ai-will-change-his-new-startup-safe-superintelligence-2024-09-05/

[49] HLF 基金会新闻室，“数据异常有效，而且有大量数据可供探索”，HLF 基金会博客。 www.newsroom.hlf-foundation.org/blog/article/data-is-unreasonably-effective-and-there-is-plenty-of-it-to-explore/

[50] 同[3]。

[51] H. Pearson, H. Ledford, M. Hutson, and R. Van Noorden，“独家：二十一世纪被引用最多的论文，”《自然》 640 (2025 年 4 月 15 日): 588–592, doi: 10.1038/d41586-025-01125-9. www.nature.com/articles/d41586-025-01125-9

第四章

[1] A. Karpathy，“循环神经网络的不合理有效性，” Andrej Karpathy 博客，2015 年 5 月 21 日。 karpathy.github.io/2015/05/21/rnn-effectiveness/

[2] P. Graham，“Paul Graham。” www.paulgraham.com

[3] OpenAI，“共享的 ChatGPT 对话，” ChatGPT。 chatgpt.com/share/67fe5d24-1cec-8002-83e2-969c3bb400a5

[4] C. Olah，“理解 LSTM 网络，” Colah 的博客，2015 年 8 月 27 日。 colah.github.io/posts/2015-08-Understanding-LSTMs/

[5] Hacker News，“2015 年 5 月 21 日的故事，” 2015 年 5 月 21 日。 news.ycombinator.com/front?day=2015-05-21

[6] Hacker News，“循环神经网络的不合理有效性，” 讨论帖，2015 年 5 月 21 日。 news.ycombinator.com/item?id=9584325

[7] Reddit，“循环神经网络的不合理有效性，” r/programming，讨论帖，2015 年。 www.reddit.com/r/programming/comments/36su8d/the_unreasonable_effectiveness_of_recurrent/

[8] C. S. Voss，“用循环神经网络建模分子，” csvoss.com，2015 年 10 月 8 日。 csvoss.com/modeling-molecules-with-rnns

[9] A. Karpathy，“char-rnn，” GitHub 仓库。 github.com/karpathy/char-rnn

[10] T. Brewe (nylki)，“char-rnn 烹饪食谱，” GitHub Gist，2015 年 5 月 29 日。 gist.github.com/nylki/1efbaa36635956d35bcc

[11] Reddit，“我用 Andrej Karpathy 的 char-rnn 创作爱尔兰民歌（AI），” r/MachineLearning，讨论帖，2015 年。 www.reddit.com/r/MachineLearning/comments/36zi75/i_used_andrej_karpathys_charrnn_to_compose_irish/

[12] R. McDermott，“trumpgen，” GitHub 仓库。 github.com/ryanmcdermott/trumpgen

[13] C. Johnson (@MrChrisJohnson)，X 上的帖子，2015 年 6 月 2 日。 x.com/MrChrisJohnson/status/605783907468865536

[14] RNN 圣经 (@RNN_Bible)，X 个人资料页。 x.com/RNN_Bible

[15] Samim，“奥巴马 RNN：机器生成的政治演讲，” Medium。 medium.com/@samim/obama-rnn-machine-generated-political-speeches-c8abd18a2ea0

[16] 同[4]。

[17] 同[6]。

[18] Y. Goldberg，“字符级语言模型的不合理有效性（以及为什么 RNN 仍然很酷），” Jupyter 笔记本，2015 年 5 月 22 日。 nbviewer.org/gist/yoavg/d76121dfde2618422139

[19] T. Mikolov, K. Chen, G. Corrado, and J. Dean，“词表示在向量空间中的高效估计，” arXiv:1301.3781，2013 年 1 月。 arxiv.org/abs/1301.3781

[20] T. Mikolov, M. Karafiát, L. Burget, J. Černocký, and S. Khudanpur，“基于循环神经网络的语言模型，” in 《Interspeech 会议论文集》，2010 年。 www.isca-archive.org/interspeech_2010/mikolov10_interspeech.xhtml

[21] 同[18]。

[22] 同[4]。

[23] Distill，“Distill。” distill.pub

[24] Y. Bengio, R. Ducharme, and P. Vincent，“一种神经概率语言模型，” 《机器学习研究期刊》 3 (2003): 1137–1155

[25] Z. Cui, W. Chen, and Y. Chen，“用于时间序列分类的多尺度卷积神经网络，” arXiv:1603.06995，2016 年 3 月。 arxiv.org/pdf/1603.06995

[26] Y. Bengio, P. Simard, and P. Frasconi，“用梯度下降学习长期依赖是困难的，” in 《IEEE 神经网络汇刊》 5, no. 2 (1994 年 3 月): 157–166, doi: 10.1109/72.279181

[27] Sepp Hochreiter 等人，“递归网络中的梯度流：学习长期依赖的困难，” in John F. Kolen and Stefan C. Kremer (eds.), 《动态递归网络野外指南》，纽约：John Wiley & Sons，2001 年

[28] Sepp Hochreiter and Jürgen Schmidhuber，“长短期记忆，” 《神经计算》 9, no. 8 (1997): 1735–1780, doi: 10.1162/neco.1997.9.8.1735. PMID 9377276. S2CID 1915014. www.bioinf.jku.at/publications/older/2604.pdf

[29] C. Olah，“理解 LSTM 网络，” Colah 的博客，2015 年 8 月 27 日。 colah.github.io/posts/2015-08-Understanding-LSTMs

[30] 同[28]。

[31] F.A. Gers, J. Schmidhuber, and F. Cummins，“学会遗忘：使用 LSTM 的持续预测。” 《神经计算》 12, no. 10 (2000): 2451–2471, doi: 10.1162/089976600300015015. PMID: 11032042. dl.acm.org/doi/10.1162/089976600300015015

[32] P. Plavén-Sigray G.J. Matheson, B.C. Schiffler, and W.H. Thompson，“科学文本的可读性随着时间在下降，” 《eLife》 6 (2017): e27725, doi: 10.7554/eLife.27725. PMID: 28873054; PMCID: PMC5584989. pmc.ncbi.nlm.nih.gov/articles/PMC5584989

[33] Wojciech Zaremba, Ilya Sutskever, and Oriol Vinyals，“循环神经网络正则化，” 2014 年。 arxiv.org/abs/1409.2329

[34] R. Pascanu, T. Mikolov, and Y. Bengio，“关于训练循环神经网络的困难，” arXiv:1211.5063，2012 年 11 月。 arxiv.org/abs/1211.5063

[35] R. Pascanu, Ç. Gülçehre, K. Cho, and Y. Bengio，“如何构建深度循环神经网络，” arXiv:1312.6026，2013 年 12 月。 arxiv.org/pdf/1312.6026

[36] 由 Srivastava、Hinton、Krizhevsky、Sutskever 和 Salakhutdinov 于 2013 年正式提出（在 AlexNet 之后）。 N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov，“Dropout：防止神经网络过拟合的简单方法，” 《机器学习研究期刊》 15 (2014): 1929–1958. www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf

[37] J. Bayer、C. Osendorfer、D. Korhammer、N. Chen、S. Urban 和 P. van der Smagt，《快速丢弃及其在循环网络中的应用》，arXiv:1311.0701，2013 年 11 月。arxiv.org/abs/1311.0701

[38] N. Srivastava，《通过丢弃改进神经网络》，博士论文，多伦多大学，2013 年

[39] A. Graves，《基于循环神经网络的序列生成》，arXiv:1308.0850，2013 年 8 月。arxiv.org/abs/1308.0850

[40] 微软研究院，《rnn_ctxt_TR.sav_.pdf》，2012 年 7 月。www.microsoft.com/en-us/research/wp-content/uploads/2012/07/rnn\_ctxt\_TR.sav\_.pdf

[41] 同[35]

[42] M. Sundermeyer、R. Schlüter 和 H. Ney，《用于语言建模的 LSTM 神经网络》，2012 年。www-i6.informatik.rwth-aachen.de/publications/download/820/Sundermeyer-2012.pdf

[43] I. Sutskever、O. Vinyals 和 Q. V. Le，《基于神经网络的序列到序列学习》，arXiv:1409.3215，2014 年 9 月。arxiv.org/pdf/1409.3215

[44] D. Bahdanau、K. Cho 和 Y. Bengio，《通过联合学习对齐和翻译的神经机器翻译》，arXiv:1409.0473，2014 年 9 月。arxiv.org/abs/1409.0473

[45] Marcus Liwicki、Alex Graves、Horst Bunke 和 Jürgen Schmidhuber，《一种基于双向长短期记忆网络的在线手写识别新方法》，载于《第九届文档分析与识别国际会议论文集，ICDAR》，2007 年

[46] A. Hannun 等，《深度语音：扩展端到端语音识别》，arXiv:1412.5567，2014 年 12 月。arxiv.org/pdf/1412.5567

[47] S. Ioffe 和 C. Szegedy，《批量归一化：通过减少内部协变量偏移加速深度网络训练》，arXiv:1502.03167，2015 年 2 月。arxiv.org/abs/1502.03167

[48] M. Marge、S. Banerjee 和 A. I. Rudnicky，《使用 Amazon Mechanical Turk 转录和标注会议语音以进行抽取式摘要》，载于《NAACL HLT 2010 研讨会：使用 Amazon's Mechanical Turk 创建语音和语言数据》，洛杉矶，加利福尼亚州，2010 年 6 月，第 99–107 页。

[49] A. Gulati 等，《Conformer：用于语音识别的卷积增强变换器》，arXiv:2005.08100，2020 年 5 月。arxiv.org/abs/2005.08100

[50] X. Song 和 D. Zhou，《快速 WordPiece 分词系统》，谷歌研究博客，2021 年 12 月 10 日。[在线]。可获取：research.google/blog/a-fast-wordpiece-tokenization-system/

[51] Hugging Face，《字节对编码分词》，Hugging Face LLM 课程。[在线]。可获取：huggingface.co/learn/llm-course/en/chapter6/5

[52] T. Kudo 和 J. Richardson，《SentencePiece：一种用于神经文本处理的简单且语言无关的子词分词器和逆分词器》，arXiv:1808.06226，2018 年 8 月。[在线]。可获取：arxiv.org/abs/1808.06226

[53] A. Zhang、Z. C. Lipton、M. Li 和 A. J. Smola，《深度卷积神经网络（AlexNet）》，载于《深入学习》第 1.0.3 版。d2l.ai/chapter\_convolutional-modern/alexnet.xhtml

[54] 《纽约客》，《“深度学习”是人工智能的革命吗？》www.newyorker.com/news/news-desk/is-deep-learning-a-revolution-in-artificial-intelligence

[55] 《麻省理工科技评论》，《对话界面》。www.technologyreview.com/technology/conversational-interfaces/

[56] 国际机器学习会议（ICML），《论文评审（论文 ID：76）》，2016 年。icml.cc/2016/reviews/76.txt

[57] D. Patel，《Ilya Sutskever（OpenAI 首席科学家）——为什么下一个词预测可能超越人类智能》，Dwarkesh 播客。www.dwarkesh.com/p/ilya-sutskever

[58] YouTube，《采访 OPEN AI 联合创始人 Ilya Sutskever 博士，于开放大学演播室，英语》，视频。youtu.be/H1YoNlz2LxA?si=03KgI1XB\_LxVb0V7&t=595

[59] 同[58]

[60] L. Fridman，《#309–John Carmack: Doom, Quake, VR, AGI, programming, video games, and rockets》，Lex Fridman 播客，2022 年 8 月 4 日。lexfridman.com/john-carmack/

[61] 同[46]

[62] REWORK，《百度 Adam Coates 谈 Deep Speech 2、新的开源 AI 工具等》，2016 年 1 月 14 日。blog.re-work.co/deep-learning-baidu-adam-coates

[63] T. Petzinger Jr.，《数学家将心灵视为公司内网模型》，《华尔街日报》，1998 年 5 月 22 日。www.wsj.com/articles/SB895791428926727000。

[64] B. Goertzel，《从梦境经济中醒来》，2001 年 4 月 9 日。https://goertzel .org/benzine/WakingUpFromTheEconomyOfDreams.htm。

[65] M. Cave，《一个拥有光明未来的愚蠢婴儿》，《澳大利亚金融评论》，2000 年 5 月 11 日。www.afr.com/politics/one-dumb-baby-with-a-brilliant-future-20000511-k9g4u

[66] Goertzel 的新公司 TrueAGI 将专注于为企业提供“心灵即服务”。

[67] S. Shead，《Alphabet 的 DeepMind 亏损在 2018 年飙升至 5.7 亿美元》，《福布斯》，2019 年 8 月 7 日。www.forbes.com/sites/samshead/2019/08/07/deepmind-losses-soared-to-570-million-in-2018/；A. Thomson，《谷歌免除 15 亿美元 DeepMind 贷款，因 AI 成本上升》，《彭博》，2020 年 12 月 17 日。www.bloomberg.com/news/articles/2020-12-17/deepmind-says-2019-revenue-jumped-158-on-ai-research-work

第 5 章

[1] Jakob Uszkoreit 提出用自注意力替代 RNN，并开始评估该想法。J. Uszkoreit，《Transformer：一种用于语言理解的新型神经网络架构》，谷歌研究博客，2017 年 8 月 31 日。research.google/blog/transformer-a-novel-neural-network-architecture-for-language-understanding/

[2] A. Vaswani、N. Shazeer、N. Parmar、J. Uszkoreit、L. Jones、A. N. Gomez、L. Kaiser 和 I. Polosukhin，《注意力就是你需要的全部》，arXiv 预印本，arXiv:1706.03762，2017 年

[3] D. Bahdanau、K. Cho 和 Y. Bengio，《通过联合学习对齐和翻译的神经机器翻译》，arXiv:1409.0473，2014 年 9 月。arxiv.org/pdf/1409.0473

[4] A. Graves、G. Wayne 和 I. Danihelka，《神经图灵机》，arXiv:1410.5401，2014 年 10 月。arxiv.org/abs/1410.5401

References

[5] M.-T. Luong、H. Pham 和 C. D. Manning，《基于注意力的神经机器翻译的有效方法》，载于 2015 年自然语言处理经验方法会议（EMNLP），2015 年，第 1412–1421 页，doi: 10.18653/v1/D15-1166。[在线]。可用：arxiv.org/pdf/1508.04025

[6] I. Sutskever、O. Vinyals 和 Q. V. Le，《使用神经网络的序列到序列学习》，载于《神经信息处理系统进展（NeurIPS）会议论文集》，2014 年，第 3104–3112 页。arxiv.org/abs/1409.3215

[7] 这与 GPT-4 等模型形成对比，这些模型是纯解码器架构，专为下一个 token 预测而设计，没有单独的编码器。这些模型顺序生成文本，仅以先前生成的 token 为条件，而不显式编码单独的输入序列。OpenAI，《GPT-4 技术报告》，arXiv:2303.08774，2023 年 3 月。[在线]。可用：arxiv.org/abs/2303.08774

[8] 通常是 LSTM

[9] 如今，变换器使用学习到的位置嵌入，其中位置信息通过可微参数进行编码，这些参数在训练过程中通过反向传播随机初始化并更新。

[10] J. Devlin、M.-W. Chang、K. Lee 和 K. Toutanova，《BERT：用于语言理解的深度双向变换器预训练》，arXiv:1810.04805，2018 年 10 月。arxiv.org/pdf/1810.04805

[11] C. Raffel 等人，《使用统一的文本到文本变换器探索迁移学习的极限》，《机器学习研究杂志》21，第 140 期（2020 年）：1–67。arxiv.org/pdf/1910.10683

[12] H. Touvron 等人，《LLaMA：开放且高效的基础语言模型》，arXiv:2302.13971，2023 年 2 月。arxiv.org/pdf/2302.13971

[13] Vaswani 等人（2017 年）报告了 WMT14 英语到法语的 41.0 和 41.8 BLEU 分数；41.0 是指主要的单模型结果，而较高的数字反映了他们使用检查点平均（一种适度提高分数的常见技术）报告的最佳性能。

[14] N. Shazeer、A. Mirhoseini、K. Maziarz、A. Davis、Q. Le、G. Hinton 和 J. Dean，《极其庞大的神经网络：稀疏门控的专家混合层》，arXiv:1701.06538，2017 年 1 月。arxiv.org/abs/1701.06538

[15] Z. Dai 等人，《Transformer-XL：超越固定长度上下文的注意力语言模型》，arXiv:1901.02860，2019 年 1 月。arxiv.org/pdf/1901.02860

[16] M. Planck，《科学自传及其他论文》，纽约：哲学图书馆，1950 年。

[17] 这一挑战催化了一系列 高效注意力 机制。（a）A. Roy、M. Saffar、A. Vaswani 和 D. Grangier，《使用路由变换器实现基于内容的高效稀疏注意力》，arXiv:2003.05997，2020 年 3 月。arxiv.org/abs/2003.05997；（b）S. Wang、B. Z. Li、M. Khabsa、H. Fang 和 H. Ma，《Linformer：具有线性复杂度的自注意力》，arXiv:2006.04768，2020 年 6 月。arxiv.org/abs/2006.04768

[18] S. Ruder，《自然语言处理的 ImageNet 时刻已经到来》，The Gradient，2018 年 7 月 8 日。thegradient.pub/nlp-imagenet

[19] Z. Shen、Y. Zhou、C. Huang、H. Ko 和 X. Zhang，《DiSAN：用于无 RNN/CNN 语言理解的有向自注意力网络》，arXiv:1709.04696，2017 年 9 月。arxiv.org/pdf/1709.04696

[20] M. Chen 等人，《两全其美：结合神经机器翻译的最新进展》，载于《第 56 届计算机语言学协会年会论文集（ACL）》，2018 年，第 76–86 页，doi: 10.18653/v1/P18-1008。aclanthology.org/P18-1008/

[21] J. Hao、X. Wang、B. Yang、L. Wang、J. Zhang 和 Z. Tu，《为变换器建模递归》，载于《2019 年北美计算机语言学协会会议：人类语言技术（NAACL-HLT）论文集》，2019 年，第 1198–1207 页，doi: 10.18653/v1/N19-1122。aclanthology.org/N19-1122/

[22] K. Tran、A. Bisazza 和 C. Monz，《递归对于建模层次结构的重要性》，载于《2018 年自然语言处理经验方法会议论文集（EMNLP）》，2018 年，第 4731–4736 页，doi: 10.18653/v1/D18-1503。aclanthology.org/D18-1503.pdf

[23] S. Abnar，《论递归归纳偏置的优点》，博客文章，2020 年 5 月 16 日。samiraabnar.github.io/articles/2020-05/recurrence

[24] B. Yang、L. Wang、D. F. Wong、L. S. Chao 和 Z. Tu，《评估自注意力网络学习词序的能力》，arXiv:1906.00592，2019 年 6 月。arxiv.org/abs/1906.00592

[25] Google Research，《使用通用变换器超越翻译》，Google Research 博客。research.google/blog/moving-beyond-translation-with-the-universal-transformer

[26] YouTube，《无先验第 39 集 | 与 OpenAI 联合创始人兼首席科学家 Ilya Sutskever 对谈》。www.youtube.com/watch?v=Ft0gTO2K85A

[27] TensorFlow，《tensor2tensor》，GitHub 仓库。github.com/tensorflow/tensor2tensor

[28] 斯坦福大学，《CS224U 播客：Rush》，课程网页。web.stanford.edu/class/cs224u/podcast/rush

[29] Rush，《注释变换器》，哈佛自然语言处理组，2018 年 4 月 3 日。nlp.seas.harvard.edu/2018/04/03/attention.xhtml

[30] J. Alammar，《图解变换器》，博客文章。jalammar.github.io/illustrated-transformer/

[31] A. Arora，《注释 GPT-2》，博客文章，2020 年 2 月 18 日。[在线]。可用：amaarora.github.io/posts/2020-02-18-annotatedGPT2.xhtml

[32] Hugging Face，《注释扩散模型》，Hugging Face 博客。huggingface.co/blog/annotated-diffusion

[33] 哈佛自然语言处理组，《注释变换器》，GitHub 仓库。github.com/harvardnlp/annotated-transformer

[34] Reddit，r/MachineLearning，《[P] 注释变换器逐行 PyTorch》，帖子。www.reddit.com/r/MachineLearning/comments/89uy75/p_the_annotated_transformer_linebyline_pytorch/

[35] 普林斯顿大学，《COS 484：自然语言处理》，课程网页。princeton-nlp.github.io/cos484

[36] 同 [33]

[37] 同 [6]

[38] T. Mikolov、I. Sutskever、K. Chen、G. S. Corrado 和 J. Dean，《词和短语的分布式表示及其组合性》，arXiv:1310.4546，2013 年 10 月。arxiv.org/abs/1310.4546

[39] Pathmind，《思维向量》，Pathmind 维基。wiki.pathmind.com/thought-vectors

[40] 同 [39]

[41] Reddit，r/MachineLearning，"AMA：我们是 Google Brain 团队。" https://www.reddit.com/r/MachineLearning/comments/4w6tsv/ama_we_are_the_google_brain_team_wed_love_to/

[42] 《卫报》，"Google 在开发类人智能机器方面更进一步"，2015 年 5 月 21 日。 https://www.theguardian.com/science/2015/may/21/google-a-step-closer-to-developing-machines-with-human-like-intelligence

[43] 同[40]

[44] H. Sheikh、C. Prins 和 E. Schrijvers，"AI 正在离开实验室进入社会"，载于 Mission AI，Springer Nature，2023 年，第 43–84 页，doi: 10.1007/978-3-031-21448-6_3。 https://link.springer.com/chapter/10.1007/978-3-031-21448-6_3

[45] 同[47]。

[46] 同[3]。

[47] 同[40]。

[48] Diederik Kingma 和 Jimmy Ba，输给 Adam：一种随机优化方法。自适应矩估计（Adam）已成为深度学习任务中广泛使用的默认优化器，优于随机梯度下降等方法。国际学习表征会议（ICLR），"宣布 ICLR 2015 时间检验奖得主"，ICLR 博客，2025 年 4 月 14 日。 https://blog.iclr.cc/2025/04/14/announcing-the-test-of-time-award-winners-from-iclr-2015

[49] 微软研究院，"NIPS：口头报告 4–Ilya Sutskever"，视频（9:23）。 https://t.co/sJa4QJJVu2

[50] O. Vinyals、M. Fortunato 和 N. Jaitly，"Pointer networks"，arXiv:1506.03134，2015 年 6 月。 https://arxiv.org/pdf/1506.03134

[51] 同[6]

[52] A. See、P.J. Liu 和 C.D. Manning，"Get to the point: Summarization with pointer-generator networks"，载于 R. Barzilay 和 M.-Y. Kan 编，《第 55 届计算语言学协会年会论文集，第 1 卷：长论文。计算语言学协会》，第 1073–1083 页。 https://doi.org/10.18653/v1/P17-1099

[53] 同[4]

[54] 他们从经典图灵机中获得灵感，图灵机是以其通用计算能力而闻名的理论模型。斯坦福哲学百科全书，"Turing machine"，https://plato.stanford.edu/entries/turing-machine/

[55] Happy Scribe，"Lex Fridman 播客 #94—Ilya Sutskever: Deep learning"，文字记录。 https://www.happyscribe.com/public/lex-fridman-podcast-artificial-intelligence-ai/94-ilya-sutskever-deep-learning

[56] 同[59]。

[57] W. Zaremba 和 I. Sutskever，"Reinforcement learning neural Turing machines–revised"，arXiv:1505.00521，2015 年 5 月。 https://arxiv.org/abs/1505.00521

[58] D. Britz，"Attention and memory in deep learning and NLP"，WildML 博客。 https://dennybritz.com/posts/wildml/attention-and-memory-in-deep-learning-and-nlp

[59] O. Vinyals、S. Bengio 和 M. Kudlur，"Order matters: Sequence to sequence for sets"，载于 国际学习表征会议论文集 (ICLR)，2016 年。 https://arxiv.org/abs/1511.06391

[60] 同[6]

[61] 使用神经网络的序列到序列学习 获得 NeurIPS 2024 时间检验奖。NeurIPS，"宣布 NeurIPS 2024 时间检验论文奖"，NeurIPS 博客，2024 年 11 月 27 日。 https://blog.neurips.cc/2024/11/27/announcing-the-neurips-2024-test-of-time-paper-awards/

[62] https://aclanthology.org/D15-1166.pdf

[63] J. Jordan，"Attention"，博客文章。 https://www.jeremyjordan.me/attention

[64] D. Britz、A. Goldie、M.-T. Luong 和 Q. Le，"Massive exploration of neural machine translation architectures"，载于 2017 年自然语言处理实证方法会议论文集 (EMNLP)，2017 年，doi: 10.18653/v1/D17-1151。 https://aclanthology.org/D17-1151.pdf

[65] A. Eriguchi、K. Hashimoto 和 Y. Tsuruoka，"Incorporating source-side phrase structures into neural machine translation"，计算语言学 45，第 2 期（2019 年）：267–292，doi: 10.1162/coli_a_00348。 https://direct.mit.edu/coli/article/45/2/267/1633/Incorporating-Source-Side-Phrase-Structures-into

[66] E. M. Bender、T. Gebru、A. McMillan-Major 和 S. Shmitchell，"On the dangers of stochastic parrots: Can language models be too big?"，载于 2021 年 ACM 公平性、问责制和透明度会议论文集 (FAccT)，2021 年，第 610–623 页，doi: 10.1145/3442188.3445922。 https://dl.acm.org/doi/pdf/10.1145/3442188.3445922

[67] I. Sutskever (@ilyasut)，X 上的帖子。 https://x.com/ilyasut/status/1675007883824758785

[68] Google 搜索，查询 "attention is not all you need" 的结果，2025 年 9 月 13 日。 https://www.google.com/search?q=attention+is+not+all+you+need。在 Google 上搜索 "attention is not all you need" 得到 583,000 条结果。

[69] 相关：K. Nishi，"awesome-all-you-need-papers"，GitHub 仓库。 https://github.com/KentoNishi/awesome-all-you-need-papers

[70] A. Alyakin，"All You Need" 并不是论文标题的全部：关于一个科学迷因的起源，arXiv:2512.19700，2025 年 12 月。 https://arxiv.org/abs/2512.19700

[71] Know Your Meme，"Attention is all you need." https://knowyourmeme.com/memes/attention-is-all-you-need

[72] K. Chang 等人，"Data is all you need: Finetuning LLMs for chip design via an automated design-data augmentation framework"，arXiv:2403.11202v2，2024 年。 https://arxiv.org/abs/2403.11202v2

[73] M. Harmel、A. Paras、A. Pasternak、N. Roy 和 G. Linscott，"Scaling is all you need: Autonomous driving with JAX-accelerated reinforcement learning"，arXiv:2312.15122v4，2024 年。 https://arxiv.org/abs/2312.15122v4

[74] Y. Lian，"Reinforcement learning is all you need"，arXiv:2503.09512v1，2025 年 3 月。 https://arxiv.org/abs/2503.09512v1

[75] TechEngines，"Deep learning: AI money is all you need"，博客文章，2021 年 5 月。 https://techengines.github.io/2021/05/24/deep-learning-ai-money-is-all-you-need

[76] S. Albanie、D. Campbell 和 J. F. Henriques，"A 23 MW data centre is all you need"，arXiv:2203.17265，2022 年 3 月。 https://ar5iv.labs.arxiv.org/html/2203.17265v1

[77] OpenAI，"Microsoft invests in and partners with OpenAI"，OpenAI。 https://openai.com/index/microsoft-invests-in-and-partners-with-openai/

[78] VentureBeat，《Sakana AI 的 CTO 声称他对驱动……的 Transformer 感到极其厌烦》，VentureBeat。 venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers

[79] O. Kuchaiev 和 B. Ginsburg，《LSTM 网络的因子分解技巧》，arXiv:1703.10722，2017 年 3 月。

[80] Noam Shazeer、Azalia Mirhoseini、Krzysztof Maziarz、Andy Davis、Quoc Le、Geoffrey Hinton 和 Jeff Dean，《超大规模神经网络：稀疏门控的专家混合层》，arXiv 预印本，arXiv:1701.06538，2017 年。

[81] N. Kalchbrenner、L. Espeholt、K. Simonyan、A. van den Oord、A. Graves 和 K. Kavukcuoglu，《线性时间的神经机器翻译》，arXiv:1610.10099，2016 年 10 月。 arxiv.org/pdf/1610.10099

[82] J. Gehring、M. Auli、D. Grangier、D. Yarats 和 Y. N. Dauphin，《卷积序列到序列学习》，2017 年 5 月。 arxiv.org/pdf/1705.03122

[83] 《独家：21 世纪被引用次数最多的论文》，《自然》，2025 年 4 月 15 日。 www.nature.com/articles/d41586-025-01125-9

[84] Makebot AI，《调查：美国半数成年人现已使用类似 ChatGPT 的 AI 大语言模型》，Makebot AI 博客。 www.makebot.ai/blog-en/survey-half-of-u-s-adults-now-use-ai-large-language-models-like-chatgpt

[85] I. Sutskever（@ilyasut），X 上的帖子。 x.com/ilyasut/status/1597655903809208320?lang=hr

第 6 章

[1] D. Meyer，《AI 训练成本：多少才算太多？》，《财富》，2024 年 4 月 4 日。 fortune.com/2024/04/04/ai-training-costs-how-much-is-too-much-openai-gpt-anthropic-microsoft

[2] Wei 等人，《大语言模型的涌现能力》，arXiv:2206.07682，2022 年。 arxiv.org/abs/2206.07682

[3] J. Wei 和 Y. Tay，《刻画大语言模型中的涌现现象》，Google Research 博客，2022 年 11 月 10 日。 research.google/blog/characterizing-emergent-phenomena-in-large-language-models

[4] J. Wei 等人，《思维链提示激发大语言模型的推理能力》，arXiv:2201.11903，2022 年。 arxiv.org/abs/2201.11903

[5] T.B. Brown 等人，《语言模型是少样本学习者》，arXiv:2005.14165，2020 年。 arxiv.org/abs/2005.14165

[6] S. Bubeck 等人，《人工通用智能的火花：GPT-4 的早期实验》，arXiv:2303.12712，2023 年。 arxiv.org/abs/2303.12712

[7] J. Kaplan 等人，《神经语言模型的缩放定律》，arXiv:2001.08361，2020 年。 arxiv.org/abs/2001.08361

[8] 《AI 寒冬》，维基百科。 en.wikipedia.org/wiki/AI_winter

[9] J. Hestness 等人，《深度学习的缩放规律是可预测的，经验上》，arXiv:1712.00409，2017 年。 arxiv.org/abs/1712.00409

[10] P. J. Liu 等人，《通过总结长序列生成维基百科》，载于 ICLR 会议论文集，2018 年。 arxiv.org/pdf/1801.10198

[11] A. Radford、K. Narasimhan、T. Salimans 和 I. Sutskever，《通过生成式预训练改进语言理解》，OpenAI 技术报告，2018 年。 cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

[12] 为了估算总训练计算量，作者将反向传播的成本和乘加运算（例如投影的矩阵乘法、注意力分数和注意力权重）纳入其中，与 [7] 相同。

[13] N. Shazeer 和 M. Stern，《Adafactor：具有亚线性内存成本的自适应学习率》，arXiv:1804.04235，2018 年。 arxiv.org/pdf/1804.04235

[14] S. McCandlish、J. Kaplan、D. Amodei 和 OpenAI Dota Team，《大批量训练的经验模型》，arXiv:1812.06162，2018 年。 arxiv.org/abs/1812.06162。

[15] Y. Yao、L. Rosasco 和 A. Caponnetto，《论梯度下降学习中的提前停止》，《构造性近似》，2007 年。 yao-lab.github.io/publications/YaoCapRos07_EarlyStop.pdf

[16] 作者正确地推测，缩放定律将适用于其他生成任务，例如图像、音频或视频建模，尽管最终的具体数字将取决于数据和表示。J. Kaplan 等人，《神经语言模型的缩放定律》，arXiv:2001.08361，2020 年。 arxiv.org/abs/2001.08361

[17] G. Branwen，《缩放假说》，Gwern.net，无日期。 gwern.net/scaling-hypothesis

[18] 同 [17]

[19] GPT-3 论文在概述其训练策略时引用了 Kaplan 缩放定律。T. B. Brown 等人，《语言模型是少样本学习者》，arXiv:2005.14165，2020 年。 arxiv.org/abs/2005.14165

[20] The Decoder，《GPT-4 架构、数据集、成本及更多泄露信息》，2023 年 7 月 11 日。 the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked

[21] 同 [6]

[22] R. T. McCoy、S. Yao、D. Friedman、M. Hardy 和 T. L. Griffiths，《自回归的余烬：通过他们训练所要解决的问题来理解大语言模型》，arXiv:2309.13638，2023 年。 arxiv.org/pdf/2309.13638

[23] D. H. Wolpert 和 W. G. Macready，《优化的无免费午餐定理》，《IEEE 进化计算汇刊》 第 1 卷第 1 期（1997 年 4 月）：67–82，doi: 10.1109/4235.585893。

[24] Richard S. Sutton，《痛苦的教训》，2019 年。 www.incompleteideas.net/IncIdeas/BitterLesson.xhtml

[25] J. Hoffmann 等人，《训练计算最优的大语言模型》，《神经信息处理系统进展》 第 35 卷（2022 年）。 proceedings.neurips.cc/paper_files/paper/2022/file/c1e2faff6f588870935f114ebe04a3e5-Paper-Conference.pdf

[26] R. Hossam，《大语言模型（LLM）的 Chinchilla 缩放定律》，Medium，2023 年 9 月 7 日。 medium.com/@raniahossam/chinchilla-scaling-laws-for-large-language-models-llms-40c434e4e1c1

[27] 同 [19]

[28] H. Touvron 等人，《Llama 2：开源基础模型和微调聊天模型》，arXiv:2307.09288，2023 年。 arxiv.org/pdf/2307.09288

[29] Epoch AI，《AI 模型（知名 AI 模型）》，Epoch AI 数据，无日期。 epoch.ai/data/ai-models

[30] Espadrine，《Chinchilla 的死亡》，Espadrine 博客，无日期。 espadrine.github.io/blog/posts/chinchilla-s-death.xhtml

References

[31] P. Zhang 等人，“TinyLlama：一个开源的小型语言模型”，arXiv:2401.02385，2024。 arxiv.org/abs/2401.02385

[32] A. Grattafiori 等人，“Llama 3 模型系列”，arXiv:2407.21783，2024。 arxiv.org/pdf/2407.21783

[33] 路透社，“什么是 DeepSeek，它为何扰乱人工智能领域？”2025 年 1 月 27 日。 www.reuters.com/technology/artificial-intelligence/what-is-deepseek-why-is-it-disrupting-ai-sector-2025-01-27

[34] DeepSeek-AI 等人，“DeepSeek-R1：通过强化学习激励 LLM 的推理能力”，arXiv:2501.12948，2025。 arxiv.org/pdf/2501.12948

[35] W. Fedus、B. Zoph 和 N. Shazeer，“Switch Transformers：使用简单高效的稀疏性扩展到万亿参数模型”，arXiv:2101.03961，2021。 arxiv.org/abs/2101.03961

[36] 模型压缩、蒸馏、专家混合等稀疏模型以及算法优化都可以降低缩放成本。Y. Cheng、D. Wang、P. Zhou 和 T. Zhang，“深度神经网络的模型压缩与加速综述”，arXiv:1710.09282，2017。 arxiv.org/abs/1710.09282

[37] “立场：别再扩展 LLM 了！让我们关注缩小规模”，arXiv:2505.00985，2025。 arxiv.org/abs/2505.00985

[38] 例如，H. Pathak，“导航前沿：精选的 LLM 推荐系统与论文列表（2018–2025）”，Medium，无日期。 medium.com/@harshnpathak/navigating-the-frontier-a-curated-list-of-essential-llm-recsys-and-papers-2018-2025-2fd7861d9ce1

[39] G. Marcus，“深度学习正在碰壁”，Nautilus，无日期。 nautil.us/deep-learning-is-hitting-a-wall-238440

[40] G. Marcus，“帖子”，X，2025 年 8 月 7 日。 x.com/GaryMarcus/status/1953585116284170278

[41] 马库斯真正攻击的是格温恩对规模的更大胆的重新框架，即将其视为关于智能的假设，尽管他的批评直接针对缩放定律本身。同 [37]

[42] N. Lourie、M. Y. Hu 和 K. Cho，“缩放定律对下游任务不可靠：现实检验”，arXiv:2507.00885，2025。 arxiv.org/pdf/2507.00885

[43] S. Y. Gadre 等人，“语言模型在过度训练和下游任务上可靠地扩展”，arXiv:2403.08540，2024。 arxiv.org/abs/2403.08540

[44] E. Caballero、K. Gupta、I. Rish 和 D. Krueger，“破碎的神经缩放定律”，arXiv:2210.14891，2022。 www.arxiv.org/abs/2210.14891

[45] GDB，“帖子”，X，2023 年 12 月 9 日。 x.com/gdb/status/1733553161884127435

[46] A. Srivastava 等人，“超越模仿游戏：量化与外推语言模型的能力”，arXiv:2206.04615，2022。 arxiv.org/abs/2206.04615

[47] P. Liang 等人，“语言模型的全面评估”，arXiv:2211.09110，2022。 arxiv.org/abs/2211.09110

[48] D. Hendrycks 等人，“测量大规模多任务语言理解”，arXiv:2009.03300，2020。 arxiv.org/pdf/2009.03300

[49] M. Kazemi 等人，“BIG-Bench 极难”，arXiv:2502.19187，2025。 arxiv.org/abs/2502.19187

[50] K. Cobbe 等人，“训练验证者解决数学应用题”，arXiv:2110.14168，2021。 arxiv.org/abs/2110.14168

[51] R. Schaeffer 等人，“为什么用规模预测前沿 AI 模型的下游能力仍然难以捉摸？”arXiv:2406.04391，2024。 arxiv.org/abs/2406.04391

[52] 斯坦福大学法学院，“GPT-4 通过律师考试：这对法律行业的人工智能工具意味着什么”，2023 年 4 月 19 日。 law.stanford.edu/2023/04/19/gpt-4-passes-the-bar-exam-what-that-means-for-artificial-intelligence-tools-in-the-legal-industry/

[53] Ars Technica，“‘博士级 AI’ 是什么意思？OpenAI 传闻中的 20,000 个智能体计划解读”，2025 年 3 月。 arstechnica.com/ai/2025/03/what-does-phd-level-ai-mean-openais-rumored-20000-agent-plan-explained

[54] The New York Times，“AI 就业：放射科医生，梅奥诊所”，2025 年 5 月 14 日。 www.nytimes.com/2025/05/14/technology/ai-jobs-radiologists-mayo-clinic.xhtml

[55] “Magic” 是指 Karpathy 对循环神经网络的描述。A. Karpathy，“循环神经网络的不合理有效性”，2015 年 5 月 21 日。 karpathy.github.io/2015/05/21/rnn-effectiveness.

[56] N. Carlini，“我的大型语言模型基准测试”，2024。 nicholas.carlini.com/writing/2024/my-benchmark-for-large-language-models.xhtml

[57] “逆向缩放奖”，GitHub 仓库，无日期。 github.com/inverse-scaling/prize

[58] Jason Wei、Najoung Kim、Yi Tay 和 Quoc V. Le，“逆向缩放可能呈 U 形”，幻灯片，2023。 docs.google.com/presentation/d/1JKpqsbkr5Fg-bj1iElPaC-ToTVpRmRLKZmN89krwl04/edit?pli=1&resourcekey=0-VPgp_Yc4krPPW3Mxv6UjgQ#slide=id.g29eef76a3f0_0_0

[59] Kiela 等人（2023 年），由 Our World in Data 轻微处理。“人工智能系统在各种能力上相对于人类表现的测试分数”[数据集]。Kiela 等人，“Dynabench：重新思考 NLP 中的基准测试”[原始数据]，2025 年 9 月 23 日。 archive.ourworldindata.org/20250915-140209/grapher/test-scores-ai-capabilities-relative-human-performance.xhtml（存档于 2025 年 9 月 15 日）。

[60] GPT-4 技术报告。 arxiv.org/pdf/2303.08774

[61] E. Martinez，“重新评估 GPT-4 的律师考试表现”，SSRN 电子期刊，2023

[62] “LM 污染”，HITZ Zentroa（巴斯克语言技术中心），无日期。 hitz-zentroa.github.io/lm-contamination/

[63] “ARC-AGI”，ARC 奖，无日期。 arcprize.org/arc-agi

[64] 古德哈特定律；C.A.E. Goodhart，“货币管理问题：英国的经验”，载于《货币经济学论文集》第 1 卷。澳大利亚储备银行，1975 年。

[65] J. Dean 等人，“大规模分布式深度网络”，神经信息处理系统进展 25 (2012)。 papers.nips.cc/paper_files/paper/2012/file/6aca97005c68f1206823815f66102863-Paper.pdf

[66] A. Krizhevsky，《一个用于并行化卷积神经网络的奇怪技巧》，arXiv:1404.5997，2014 年。https://arxiv.org/abs/1404.5997

[67] S. Rajbhandari 等，《ZeRO：面向训练万亿参数模型的内存优化》，arXiv:1910.02054，2019 年。https://arxiv.org/abs/1910.02054

[68] AmoebaNet-B 是一种通过神经架构搜索发现的卷积网络架构。E. Real 等，《用于图像分类器架构搜索的正则化进化》，arXiv:1802.01548，2018 年。https://arxiv.org/abs/1802.01548

[69] S. Kornblith、J. Shlens 和 Q. V. Le，《更好的 ImageNet 模型是否迁移得更好？》，arXiv:1805.08974，2018 年。https://arxiv.org/abs/1805.08974

[70] 克尔凯郭尔日记中一句流行的改写版本：“生活只能倒着理解，但必须正着过。” P. Jorgensen，《生活只能倒着理解；但必须正着过（克尔凯郭尔来源注释）》，爱荷华大学，未标注日期。https://homepage.divms.uiowa.edu/~jorgen/quotes/abbreviation.xhtml

[71] 《可视化六维》。https://main-horse.github.io/posts/visualizing-6d

[72] D. Arfeen 等，《PipeFill：在流水线并行 LLM 训练的气泡期间使用 GPU》，arXiv:2410.07192，2024 年。https://www.pdl.cmu.edu/PDL-FTP/BigLearning/Pipefill-2410.07192v1.pdf

[73] 同[72]

[74] M. Shoeybi 等，《Megatron-LM：使用模型并行训练数十亿参数语言模型》，arXiv:1909.08053，2019 年。https://arxiv.org/abs/1909.08053

[75] 同[69]

[76] J. Rosset，《Turing-NLG：微软的 170 亿参数语言模型》，微软研究博客，2020 年 2 月 11 日。https://www.microsoft.com/en-us/research/blog/turing-nlg-a-17-billion-parameter-language-model-by-microsoft/

[77] 《广度优先流水线并行》，arXiv:2211.05953，2022 年。https://arxiv.org/abs/2211.05953

[78] 其中一项概括这些挑战的工作是《MegaScale：将大语言模型训练扩展到超过 10,000 个 GPU》，arXiv:2402.15627，2024 年。https://arxiv.org/pdf/2402.15627

[79] Anson Ho、Tamay Besiroglu、Ege Erdil、David Owen、Robi Rahman、Zifan Carl Guo、David Atkinson、Neil Thompson 和 Jaime Sevilla，《语言模型中的算法进展》，arXiv 预印本，arXiv:2403.05812，2024 年。https://arxiv.org/abs/2403.05812

[80] G. Branwen，《Clippy》（小说），Gwern.net，未标注日期。https://gwern.net/fiction/clippy

[81] OpenAI，《根据人类偏好微调 GPT-2》，OpenAI，未标注日期。https://openai.com/index/fine-tuning-gpt-2/

[82] N. Bilton，《人工智能可能是人类最巧妙的发明——也是最后一个》，名利场，2023 年 9 月 13 日。https://www.vanityfair.com/news/2023/09/artificial-intelligence-industry-future?srsltid=AfmBOooDFNXFYIHUkwc4Muom9FbnCLSHYVa6y6XBwwFcXXO-nzpIMzQz

[83] 在“根据人类偏好微调 GPT-2”的研究中，一个翻转的奖励 bug 导致模型生成尽可能糟糕但仍然流畅的文本。这表明大型语言模型在追求不一致的目标时能够保持表面上的能力。它还说明神经网络不会显著失败；它们会适应，通常以微妙且误导的方式，适应它们实际接收到的任何信号。这对 [84] 也是如此。

[84] Mind Matters News，《播客嘉宾声称他不会死，说我们正在用 AI 创造上帝》，2025 年 1 月。https://mindmatters.ai/2025/01/podcast-guest-claims-he-wont-die-says-were-creating-god-with-ai/

[85] 生命未来研究所，《暂停大型 AI 实验：一封公开信》，2023 年 3 月 22 日。https://futureoflife.org/open-letter/pause-giant-ai-experiments/

[86] E. Bender 等，《关于随机鹦鹉的危险：语言模型是否可能太大？》，载于 2021 年 ACM 公平性、问责制和透明度会议论文集 (FAccT)，2021 年，第 610–623 页。

[87] Radiology Business，《纽约时报回顾诺贝尔奖得主关于 AI 将使放射科医生过时的预测》，未标注日期。https://radiologybusiness.com/topics/artificial-intelligence/ny-times-revisits-nobel-prize-winners-prediction-ai-will-render-radiologists-obsolete

[88] T. Chiang，《ChatGPT 是网页的模糊 JPEG》，纽约客，2023 年 2 月 9 日。https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

[89] A. Fawzi 等，《用强化学习发现更快的矩阵乘法算法》，自然，2022 年。https://www.nature.com/articles/s41586-022-05172-4

第 7 章

[1] Singh, Aaditya, Adam Fry, Adam Perelman, Adam Tart, Adi Ganesh, Ahmed El-Kishky, Aidan McLaughlin 等，《OpenAI GPT-5 系统卡》，arXiv [Cs.CL]，2025 年。http://arxiv.org/abs/2601.03267

[2] 路透社，《OpenAI 及其竞争对手寻求通往更智能 AI 的新路径，因为当前方法遇到瓶颈》，2024 年 11 月 11 日。https://www.reuters.com/technology/artificial-intelligence/openai-rivals-seek-new-path-smarter-ai-current-methods-hit-limitations-2024-11-11/

[3] 为了保持梯度流动，使用重参数化技巧。D. P. Kingma 和 M. Welling，《自动编码变分贝叶斯》，arXiv 预印本 arXiv:1312.6114，2013 年。[在线]. 可获取：https://arxiv.org/abs/1312.6114

[4] X. Chen、D. P. Kingma、T. Salimans、Y. Duan、P. Dhariwal、J. Schulman、I. Sutskever 和 P. Abbeel，《变分有损自编码器》，arXiv 预印本，arXiv:1611.02731，2017 年

[5] I. Goodfellow 等，《生成对抗网络》，arXiv 预印本，arXiv:1406.2661，2014 年。https://arxiv.org/pdf/1406.2661

[6] 在该论文中，作者表明 Kullback–Leibler (KL) 散度项略有上升。KL 散度衡量一个概率分布与另一个概率分布的差异程度。S. Kullback 和 R. A. Leibler，《论信息与充分性》，数学统计年鉴 22, no. 1 (1951): 79–86

[7] 基于图的方法和记忆增强模型取得了进展，但它们假设图结构是预先知道的，或者引入了复杂性。Z. Wu 等，《图神经网络综述》，IEEE Transactions on Neural Networks and Learning Systems (2021 年 1 月): 4–24; A. Graves、G. Wayne 和 I. Danihelka，《神经图灵机》，arXiv 预印本，arXiv:1410.5401，2014 年。https://arxiv.org/abs/1410.5401

[8] Adam Santoro 等，《一个用于关系推理的简单神经网络模块》，2017 年。https://arxiv.org/abs/1706.01427

[9] J. Johnson 等人，《CLEVR：一个用于组合语言和初级视觉推理的诊断数据集》，载于 IEEE 计算机视觉与模式识别会议会议录 (CVPR)，2017 年，第 1988–1997 页，doi: 10.1109/CVPR.2017.215。 openaccess.thecvf.com/content\_cvpr\_2017/papers/Johnson\_CLEVR\_A\_Diagnostic\_CVPR\_2017\_paper.pdf

[10] J. Weston、A. Bordes、S. Chopra 和 T. Mikolov，《迈向完整人工智能问答：一组先决条件玩具任务》，arXiv 预印本，arXiv:1502.05698，2015 年。 https://arxiv.org/abs/1502.05698

[11] K. Quach，《DeepMind 教授 AI 推理》，The Register，2017 年 6 月 9 日， www.theregister.com/2017/06/09/deepmind\_teaches\_ai\_to\_reason

[12] J. Andreas、M. Rohrbach、T. Darrell 和 D. Klein，《使用神经模块网络的深度组合问答》，arXiv 预印本，arXiv:1511.02799，2015 年。 arxiv.org/pdf/1511.02799

[13] R. Hu、J. Andreas、M. Rohrbach、T. Darrell 和 K. Saenko，《学习推理：用于视觉问答的端到端模块网络》，arXiv 预印本，arXiv:1704.05526，2017 年。 arxiv.org/pdf/1704.05526

[14] J. J. Irwin，《凝视化学空间》，Nature Chemical Biology 第 5 卷第 8 期（2009 年），第 536–537 页，doi:10.1038/nchembio0809-536

[15] P. Kirkpatrick 和 C. Ellis，《化学空间。》Nature 第 432 卷第 7019 期（2004 年），第 823–865 页。Bibcode: 2004Natur.432.823K。doi:10.1038/432823a

[16] R. Ramakrishnan、P. Dral、M. Rupp 等人。134 千分子的量子化学结构与性质。Scientific Data 第 1 卷（2014 年），140022。 doi.org/10.1038/sdata.2014.22

[17] J. Gilmer、S. S. Schoenholz、P. F. Riley、O. Vinyals 和 G. E. Dahl，《用于量子化学的神经消息传递》，arXiv 预印本，arXiv:1704.01212，2017 年

[18] P. Hohenberg 和 W. Kohn，《非均匀电子气体》，Physical Review 第 136 卷（1964 年），B864

[19] W. Kohn 和 L. J. Sham，《包含交换和相关效应的自洽方程》，Physical Review 第 140 卷（1965 年），A1133

[20] Li, Yujia、Daniel Tarlow、Marc Brockschmidt 和 Richard Zemel，《门控图序列神经网络》，arXiv [cs.LG]，2017 年。 arxiv.org/abs/1511.05493

[21] F. A. Faber 等人，《机器学习预测误差优于 DFT 精度》，arXiv 预印本，arXiv:1702.05532，2017 年。 arxiv.org/pdf/1702.05532

[22] Kristof T. Schütt、Pieter-Jan Kindermans、Huziel E. Sauceda、Stefan Chmiela、Alexandre Tkatchenko 和 Klaus-Robert Müller，《SchNet：用于量子相互作用建模的连续滤波卷积神经网络》，arXiv [stat.ML]，2017 年。 arxiv.org/abs/1706.08566；K.T. Schütt、F. Arbabzadah、S. Chmiela、K.-R. Müller 和 A. Tkatchenko，《从深度张量神经网络获得的量子化学见解》，Nature Communications 第 8 卷（2017 年），13890

[23] Johannes Gasteiger、Janek Groß 和 Stephan Günnemann，《分子图的方向消息传递》，arXiv [Cs.LG]，2022 年。 arxiv.org/abs/2003.03123

[24] Alex Graves、Greg Wayne、Malcolm Reynolds 等人，《使用具有动态外部记忆的神经网络进行混合计算》，Nature 第 538 卷第 7626 期（2016 年），第 471 页

[25] W. Zaremba 和 I. Sutskever，《学习执行》，arXiv 预印本，arXiv:1410.4615，2015 年。 arxiv.org/abs/1410.4615

[26] Mikael Henaff、Jason Weston、Arthur Szlam、Antoine Bordes 和 Yann LeCun，《使用循环实体网络追踪世界状态》，载于 第五届国际学习表征会议，2017 年。

[27] Edouard Grave、Armand Joulin 和 Nicolas Usunier，《使用连续缓存改进神经语言模型》，arXiv 预印本，arXiv:1612.04426，2016 年

[28] S. Bai、J. Z. Kolter 和 V. Koltun，《卷积序列建模再探讨》，OpenReview (ICLR Workshop)，2018 年。 openreview.net/forum?id=rk8wKk-R-

[29] Y. N. Dauphin、A. Fan、M. Auli 和 D. Grangier，《使用门控卷积网络进行语言建模》，arXiv 预印本，arXiv:1612.08083，2016 年。 arxiv.org/abs/1612.08083

[30] J. W. Rae、C. Dyer、P. Dayan 和 T. P. Lillicrap，《使用激活记忆的快速参数学习》，arXiv 预印本，arXiv:1803.10049，2018 年。 http://arxiv.org/abs/1803.10049.

[31] S. Merity、N. S. Keskar、J. Bradbury 和 R. Socher，《可扩展语言建模：在单块 GPU 上 12 小时完成 WikiText-103》，2018 年，doi: 10.1002/j.2334-1234.2018.12159.x。 mlsys.org/Conferences/doc/2018/50.pdf

[32] H. Liu 等人，《评估 ChatGPT 和 GPT-4 的逻辑推理能力》，arXiv 预印本，arXiv:2304.03439，2023 年。 arxiv.org/pdf/2304.03439

[33] OpenAI，《GPT-4 技术报告》，arXiv 预印本，arXiv:2303.08774，2023 年。 arxiv.org/pdf/2303.08774

[34] V. Kocijan、E. Davis、T. Lukasiewicz、G. Marcus 和 L. Morgenstern，《Winograd 模式挑战赛的失败》，Artificial Intelligence 第 325 卷（2023 年），文章编号 103971。 www.sciencedirect.com/science/article/abs/pii/S0004370223001170

[35] Qihuang Zhong、Kang Wang、Ziyang Xu、Juhua Liu、Liang Ding 和 Bo Du，《在 GSM8K 上达到 >97%：“深入理解问题使 LLM 成为更好的数学应用题求解器”》，arXiv [cs.CL]，2024 年。 arxiv.org/abs/2404.14963

[36] A. Lewkowycz 等人，《Minerva：使用语言模型解决定量推理问题》，arXiv 预印本，arXiv:2206.14858，2022 年。 arxiv.org/pdf/2206.14858

[37] J. Hart，《OpenAI 在数学竞赛中夺得金牌，这正在推动 AGI 猜测》，Business Insider，2025 年 7 月。 www.businessinsider.com/openai-gold-iom-math-competition-2025-7

[38] C. Yang 等人，《作为优化器的大型语言模型》，arXiv 预印本，arXiv:2309.03409，2023 年。 arxiv.org/abs/2309.03409

[39] Wikipedia 贡献者，《狼、山羊和卷心菜问题》，Wikipedia。 [en.wikipedia.org/wiki/Wolf,\_goat\_and\_cabbage\_problem]( https://en.wikipedia.org/wiki/Wolf ,_goat_and_cabbage_problem)

[40] S. Newman，《GPT-4 不是想明白的，它早就知道了》，Second Thoughts，2023 年 4 月 13 日。 amistrongeryet.substack.com/p/gpt-4-capabilities

[41] S. Amarel，《论关于行动的推理问题的表示》，载于 Machine Intelligence 3，D. Michie（编）。荷兰阿姆斯特丹：Elsevier/North Holland，1968 年，第 131–171 页

[42] J. McCarthy，《限定：一种非单调推理的形式》，Artificial Intelligence 第 13 卷第 1–2 期（1980 年），第 27–39 页，doi:10.1016/0004-3702(80)90011-9

[44] L. Berglund、M. Tong、M. Kaufmann、M. Balesni、A. C. Stickland、T. Korbak 和 O. Evans，《逆转诅咒：在"A 是 B"上训练的 LLM 学不会"B 是 A"》，arXiv 预印本，arXiv:2309.12288，2023 年。research.google/blog/open-sourcing-bert-state-of-the-art-pre-training-for-natural-language-processing/

[45] J. McCarthy，《将限定推理应用于常识知识的形式化》，人工智能 28，第 1 期（1986 年）：89–116，doi: 10.1016/0004-3702(86) 90032-9

[46] J. McCarthy，《详述 MCP（第一部分）》，斯坦福大学技术报告，无日期。jmc.stanford.edu/articles/missionaries1/missionaries1.pdf

[47] Jason Wei、Xuezhi Wang、Dale Schuurmans、Maarten Bosma、Brian Ichter、Fei Xia、Ed Chi、Quoc Le 和 Denny Zhou，《思维链提示能够激发大语言模型的推理能力》，arXiv [Cs.CL]，2023 年。arxiv.org/abs/2201.11903

[48] Takeshi Kojima、Shixiang Shane Gu、Machel Reid、Yutaka Matsuo 和 Yusuke Iwasawa，《大语言模型是零样本推理者》，arXiv [cs.CL]，2023 年。arxiv.org/abs/2205.11916

[49] Google Research，《语言模型通过思维链进行推理》，2022 年 5 月 11 日。research.google/blog/language-models-perform-reasoning-via-chain-of-thought

[50] X. Wang 等人，《自一致性提升语言模型中的思维链推理》，arXiv 预印本，arXiv:2203.11171，2022 年。arxiv.org/abs/2203.11171

[51] 同样，提示词并非在释放隐藏的智能，而是在提供一种嵌入文本中的轻量级形式化方法。它迫使模型暴露可被检验的中间承诺。这就是为什么提示能够改变性能——有时幅度很大——尽管在面对不熟悉的变体时仍然会失败。

[52] 例如，在他们开创性著作《感知机：计算几何学导论》1988 年修订版中，Marvin Minsky 和 Seymour Papert 写道："连接主义学习与符号推理之间的研究兴趣重心转移，或许能为科学社会学提供一个引人入胜的主题，但这些领域的工作者必须明白，这些极点是人为的简化。" M. Minsky、S. Papert 和 L. Bottou，《感知机：计算几何学导论》。马萨诸塞州剑桥：MIT 出版社，2017 年

[53] J. Haugeland，《人工智能：这个绝妙的想法》。马萨诸塞州剑桥：MIT 出版社，1985 年

[54] A. Newell 和 H. Simon，《计算机科学作为经验探究：符号与搜索》，美国计算机协会通讯 19，第 3 期（1976 年）：113–126。dx.doi.org/10.1145/360018.360022

[55] J. A. Fodor 和 Z. W. Pylyshyn，《连接主义与认知架构：批判性分析》，认知 28，第 1–2 期（1988 年 3 月）：3–71

[56] P. Smolensky，《论连接主义的恰当处理》，行为与脑科学 11（1988 年）：1–23

[57] J. Pavlus，《谷歌的 AI 大师揭晓神经网络的新花样》，WIRED，2017 年 11 月 1 日。www.wired.com/story/googles-ai-wizard-unveils-a-new-twist-on-neural-networks/

[58] G. Marcus，《深度学习：批判性审视》，arXiv 预印本，arXiv:1801.00631，2018 年。arxiv.org/pdf/1801.00631

[59] McDermott 写道："AI 研究中一个常见的愚蠢做法是，认为已经找出第一版程序的缺陷就等同于已经写出了第二版。" Drew McDermott，《人工智能遇上天然愚蠢》，ACM SIGART 公报 57（1976 年 4 月）：4–9。doi.org/10.1145/1045339.1045340

[60] F. Chollet，《论智能的度量》，arXiv，2019 年。arxiv.org/abs/1911.01547

[61] ARC 奖基金会，2026 年。arcprize.org

[62] 在当前的 ARC 奖设置中，评估还包括资源约束，例如有限的计算量、私人竞赛中无网络访问、运行时间限制以及成本上限，这使得效率成为该基准测试实际意义的一部分。

[63] F. Chollet、M. Knoop、G. Kamradt 和 B. Landers，《ARC 奖 2024：技术报告》，arXiv 预印本，arXiv:2412.04604，2025 年。arxiv.org/abs/2412.04604

[64] arcprize.org/leaderboard

[65] ARC 奖基金会，《OpenAI o3 在 ARC-AGI-Pub 上取得突破性高分》，2024 年 12 月 20 日。arcprize.org/blog/oai-o3-pub-breakthrough

[66] Greg Kamradt，《用 ARC-AGI 分析 o3 和 o4-mini》，ARC 奖基金会博客，2025 年 4 月 22 日。arcprize.org/blog/analyzing-o3-with-arc-agi

[67] 未来生命研究所，《暂停大型 AI 实验：一封公开信》，2023 年 3 月 22 日。futureoflife.org/open-letter/pause-giant-ai-experiments/

[68] 公平地说，ARCAGI-2 不仅仅是更新。它对当今的 AI 推理系统也更具挑战性，同时保持了与人类难度大致相当的水平。ARC 奖基金会，《宣布 ARC-AGI-2 和 ARC 奖 2025》，2025 年 3 月 24 日。arcprize.org/blog/announcing-arc-agi-2-and-arc-prize-2025。

[69] C. A. E. Goodhart，《货币政策管理：英国的经验》，载于《货币经济学论文集》，第 1 卷。澳大利亚悉尼：澳大利亚储备银行，1975 年

[70] S. Sagawa、P.W. Koh、T.B. Hashimoto 和 P. Liang，《针对群体偏移的分布式鲁棒神经网络：论正则化对最坏情况泛化的重要性》，ICLR，2020 年

[71] E.M. Bender 和 A. Koller，《在数据时代迈向 NLU：关于意义、形式与理解》，ACL，2020 年

[72] X. Bouthillier 等人，《在机器学习基准中考虑方差》，载于《第四届机器学习与系统会议论文集（MLSys）》，2021 年。proceedings.mlsys.org/paper_files/paper/2021/file/0184b0cd3cfb185989f858a1d9f5c1eb-Paper.pdf

[73] W. James，《实用主义：旧有思维方式的新名称》。纽约：Longmans，Green，1907 年，第六讲（"实用主义的真理观"）

第 8 章

[1] Mind Cathedral，《黄仁勋（NVIDIA）与 Ilya Sutskever（OpenAI）会议。AI Conferenza SUB ITA》，YouTube 视频，2023 年。www.youtube.com/watch?v=ZZ0atq2yYJw

[2] A. Radford、I. Sutskever、R. Józefowicz、J. Clark 和 G. Brockman，《无监督情感神经元》，OpenAI，2017 年 4 月 6 日。openai.com/index/unsupervised-sentiment-neuron/

[3] 热力学第二定律是指孤立系统的熵不会减少。按照 Aaronson、Carroll 和 Ouellette 的说法，在研究熵如何增加而表观复杂性暂时上升和下降的过程中，咖啡杯模型被视为一个"封闭系统"。

[4] A. Shen、V. A. Uspensky 和 N. Vereshchagin，《Kolmogorov Complexity and Algorithmic Randomness, Mathematical Surveys and Monographs》，第 220 卷。罗德岛州普罗维登斯：美国数学学会，2017 年。bookstore.ams.org/surv-220

[5] F. Green，“书评专栏”，ACM SIGACT News 第 50 卷第 4 期（2019 年）。mathcs.clarku.edu/~fgreen/SIGACTReviews/bookrev/50-4.pdf

[6] L. Fortnow，“莫斯科的压缩”，Computational Complexity 博客，2019 年 6 月 12 日。blog.computationalcomplexity.org/2019/06/compressing-in-moscow.xhtml

[7] 例如，他们证明了每一个对经典香农熵成立的线性不等式也对柯尔莫哥洛夫复杂度成立，从而在概率信息论与算法信息之间建立了牢固的联系。沈还以计算复杂性方面的一项著名成果（IP = PSPACE 的另一种证明）而闻名，但他已在算法信息论领域深耕数十年。到 2017 年，沈在法国国家科学研究中心（CNRS），Vereshchagin 在莫斯科国立大学。他们与 Uspensky 一起，将毕生所学凝练成了这卷著作。

[8] Claude E. Shannon，“通信的数学理论”，Bell System Technical Journal 第 27 卷第 3 期（1948 年 7 月）：379–423

[9] 请注意，仅靠不重复并不等同于算法随机性。0.0% 或 √2 的数字并不会陷入重复模式，但它们是可计算的，因为一个简短的算法就能生成其各位数字。用柯尔莫哥洛夫的术语来说，因此与同等长度的典型随机字符串相比，它们的有限前缀具有很高的可压缩性。

[10] C. E. Shannon，“通信的数学理论”，Bell System Technical Journal 第 27 卷第 3 期（1948 年 7 月）：379–423；第 27 卷第 4 期（1948 年 10 月）：623–656

[11] R. J. Solomonoff，“Ray Solomonoff 的主页”，raysolomonoff.com，未注明日期。raysolomonoff.com

[12] 停机问题问是否存在一种通用算法，能够针对任意程序和输入判断该程序最终是会停止还是永远运行。艾伦·图灵证明了不存在这样的算法，并且某些计算问题是不可判定的。A. M. Turing，“论可计算数，及其在判定问题上的应用”，Proceedings of the London Mathematical Society Series 2 第 42 卷（1937 年）：230–265。doi.org/10.1112/plms/s2-42.1.230

[13] Hacker News，“Ilya Sutskever：‘如果你把这些都学会，你就会知道 90% 重要的东西’”，2024 年 5 月 18 日。news.ycombinator.com/item?id=40397806

[14] ErdosProblems.com 论坛，“Erdős 问题 #481——讨论帖”，最后编辑于 2025 年 12 月 3 日。www.erdosproblems.com/forum/thread/481#post-1934

[15] L. de Moura 和 S. Ullrich，“The Lean 4 定理证明器与编程语言”，载于 A. Platzer 和 G. Sutcliffe（编），Automated Deduction—CADE 28。Lecture Notes in Computer Science，第 12699 卷。瑞士沙姆：Springer，2021 年。doi.org/10.1007/978-3-030-79876-5_37

[16] 同 [1]

[17] M. Chen 等人，“从像素进行生成式预训练”，载于第 37 届国际机器学习会议论文集，第 119 卷，2020 年，第 1691–1703 页。cdn.openai.com/papers/Generative_Pretraining_from_Pixels_V2.pdf

[18] 采访者 C. S. Smith 与受访者 I. Sutskever，“Ilya Sutskever：GPT-4 背后的策划者与人工智能的未来”，Eye on A.I. 播客，第 2 季第 118 集，2023 年 3 月 15 日，43 分钟（08:36、26:02、29:40）。podcasts.apple.com/us/podcast/ilya-sutskever-the-mastermind-behind-gpt-4-and/id1438378439?i=1000604382855

[19] Meta AI，“V-JEPA：迈向高级机器智能的下一步”，2024 年 2 月 15 日。ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/

[20] R. Caruana、S. Lawrence 和 C. L. Giles，“神经网络中的过拟合：反向传播、共轭梯度与提前停止”，载于神经信息处理系统进展，第 13 卷，2000 年，第 402–408 页。proceedings.neurips.cc/paper_files/paper/2000/file/059fdcd96baeb75112f09fa1dcc740cc-Paper.pdf

[21] A. Krogh 和 J. A. Hertz，“简单的权重衰减可以提升泛化能力”，载于神经信息处理系统进展，第 4 卷，1991 年，第 950–957 页。proceedings.neurips.cc/paper_files/paper/1991/file/8eefcfdf5990e441f0fb6f3fad709e21-Paper.pdf

[22] A. Power、Y. Burda、H. Edwards、I. Babuschkin 和 V. Misra，“Grokking：小规模算法数据集上超越过拟合的泛化”，arXiv:2201.02177，2022 年 1 月 6 日。arxiv.org/abs/2201.02177

[23] 罗伯特·海因莱因（Robert Heinlein）创造了“grok”一词，用来指代外星概念体系中固有的理解。它传达的是一种无需置身于赋予其意义的世界便能说出口的语言。

[24] B. DeMoss、S. Sapora、J. Foerster、N. Hawes 和 I. Posner，“grokking 的复杂性动力学”，arXiv:2412.09810v2，2025 年 8 月 21 日。arxiv.org/pdf/2412.09810

[25] N. Nanda、L. Chan、T. Lieberum、J. Smith 和 J. Steinhardt，“通过机制可解释性衡量 grokking 的进展”，arXiv:2301.05217，2023 年。arxiv.org/pdf/2301.05217

[26] C. Zhang、S. Bengio、M. Hardt、B. Recht 和 O. Vinyals，“理解深度学习需要重新思考泛化”，arXiv:1611.03530，2016 年。arxiv.org/abs/1611.03530

[27] M. Belkin、D. Hsu、S. Ma 和 S. Mandal，“调和现代机器学习实践与经典的偏差-方差权衡”，arXiv:1812.11118，2019 年。arxiv.org/abs/1812.11118

[28] P. Nakkiran、G. Kaplun、Y. Bansal、T. Yang、B. Barak 和 I. Sutskever，“深度双重下降：更大的模型与更多的数据为何会带来伤害”，arXiv:1912.02292，2019 年。arxiv.org/abs/1912.02292

[29] A. Karpathy，“训练神经网络的配方”，2019 年 4 月 25 日。karpathy.github.io/2019/04/25/recipe/

[30] Happy Scribe，“#94—Ilya Sutskever：深度学习”文字记录，Lex Fridman 播客，2020 年 5 月 8 日。podcasts.happyscribe.com/lex-fridman-podcast-artificial-intelligence-ai/94-ilya-sutskever-deep-learning

[31] I. Sutskever（@ilyasut），“双重下降现象出现在实际的深度学习场景中”，X，2019 年 12 月 5 日。x.com/ilyasut/status/1202646723140734977

[32] OpenAI，“深度双重下降”，2019 年 12 月 5 日。openai.com/index/deep-double-descent/

[33] T. Chiang，“ChatGPT 是网页的模糊 JPEG”，The New Yorker，2023 年 2 月 9 日。www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

Chapter 9

[1] “智能的定义”，伊利诺伊大学心理学系。https://labs.psychology.illinois.edu/~lyubansk/IQdef.htm

[2] 正如莱格所说，“如果它能在广泛的环境中表现良好，那就意味着一切。”S. 莱格和 M. 哈特，“通用智能：机器智能的定义”，心灵与机器 17, no. 4 (2007): 391–444, doi: 10.1007/s11023-007-9079-x

[3] S. 莱格，“机器超级智能”，博士论文，瑞士意大利大学，瑞士卢加诺，2008 年 6 月。http://www.vetta.org/documents/Machine_Super_Intelligence.pdf

[4] P. A. 卡朋特、M. A. 贾斯特和 P. 谢尔，“一种智力测验所测量的内容：对瑞文渐进矩阵测验加工过程的理论说明”，心理学评论 97, no. 3 (1990): 404–431, doi: 10.1037/0033-295X.97.3.404

[5] 贝叶斯主义者回应说，有了足够的数据和合理的先验，后验就由似然项 P(D∣h) 主导，因此在实践中精确的先验通常影响很小，而经典（非贝叶斯）方法无论如何也会偷偷引入自己的先验。但在无限假设空间中，问题变得更加尖锐，其中朴素的选择会导致“不恰当”先验和进一步的概念不安。

[6] 这使其成为归纳推理的一种大一统理论。事实上，如果不是因为其不可计算性这个微小的问题，归纳问题或许可以被认为已经解决。

[7] 所罗门诺夫和 L. A. 列文于 1973 年扩展了这一想法。L. A. 列文，“通用序列搜索问题”，信息传输问题 9 (1973): 265–266

[8] 生物学博士，“生命 3.0”，Ask A Biologist，亚利桑那州立大学，2018 年 2 月 28 日。https://askabiologist.asu.edu/listen-watch/life-30

[9] 引文调查者，“引文来源：大脑只不过是一台肉机器”，2020 年 5 月 6 日（更新于 2025 年 3 月 28 日）。https://quoteinvestigator.com/2020/05/06/machines

[10] P. 米罗夫斯基，机器之梦：经济学变成了一门赛博格科学。英国剑桥：剑桥大学出版社，2001 年

[11] S. 阿姆斯特朗，“定义 AI 电线头”，LessWrong，2019 年 11 月 21 日。https://www.lesswrong.com/posts/vXzM5L6njDZSf4Ftk/defining-ai-wireheading

[12] D. 阿莫迪、C. 奥拉、J. 施坦哈特、P. 克里斯蒂亚诺、J. 舒尔曼和 D. 马内，“AI 安全中的具体问题”，arXiv 预印本，arXiv:1606.06565，2016 年。https://arxiv.org/abs/1606.06565

[13] L. 切科，“加拿大航空被勒令向因航空公司聊天机器人误导而受损的客户支付赔偿”，卫报，2024 年 2 月 16 日。https://www.theguardian.com/world/2024/feb/16/air-canada-chatbot-lawsuit

[14] 国家运输安全委员会，“由开发中的自动驾驶系统控制的车辆与行人之间的碰撞”，调查编号 HWY18MH010，日期不详。https://www.ntsb.gov/investigations/Pages/HWY18MH010.aspx

[15] I. J. 古德，“关于第一台超智能机器的推测”，计算机进展 6 (1965): 31–88，1965 年，doi: 10.1016/S0065-2458(08)60418-0。https://doi.org/10.1016/S0065-2458(08)60418-0

[16] V. 文奇，“即将到来的技术奇点：如何在后人类时代生存”，1993 年。https://mindstalk.net/vinge/vinge-sing.xhtml

[17] R. 库兹韦尔，奇点临近：当人类超越生物学。纽约：维京，2005 年。https://philpapers.org/rec/KURTSI

[18] D. 伯格曼和 C. 斯特赖克，“什么是通用人工智能（AGI）？”IBM Think，2024 年 9 月 17 日。https://www.ibm.com/think/topics/artificial-general-intelligence

[19] B. 格策尔和 C. 彭纳钦编，《通用人工智能》。德国柏林：施普林格，2007 年，doi: 10.1007/978-3-540-68677-4。https://link.springer.com/book/10.1007/978-3-540-68677-4

[20] 休伯特·L. 德雷福斯，“第一步谬误的历史”，心灵与机器 22, no. 2 (2012): 87–99

[21] Google Scholar 列出了 7,000 到 9,000 次引用，对于分析哲学和 AI 风险领域的作品来说这是非同寻常的数量。N. 博斯特罗姆，“Google Scholar 个人资料”，Google Scholar 引用。https://scholar.google.es/citations?user=oQwpz3QAAAAJ&hl

[22] 尤德考斯基的文章已经积累了约 425 次学术引用，对于一本编辑卷的贡献来说这是相当可观的数量。E. 尤德考斯基，“人工智能作为全球风险的正负因素”，载于 N. 博斯特罗姆和 M. M. 乔尔科维奇编，《全球灾难性风险》。英国牛津：牛津大学出版社，2008 年，第 308–345 页。https://www.semanticscholar.org/paper/Artificial-Intelligence-as-a-Positive-and-Negative-Yudkowsky/fcf7368061a544a09d16826eb4c5a8463ee5482e

[23] E. 尤德考斯基，“暂停 AI 发展还不够。我们需要把它全部关掉”，时代周刊，2023 年 3 月 29 日。https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/

[24] E. 尤德考斯基，“创建友好的 AI 1.0：对仁慈目标架构的分析与设计”，奇点人工智能研究所，2001 年。https://intelligence.org/files/CFAI.pdf

[25] XiXiDu，“与肖恩·莱格就 AI 风险的问答”，LessWrong，2011 年 6 月 17 日。https://www.lesswrong.com/posts/No5JpRCHzBrWA4jmS/q-and-a-with-shane-legg-on-risks-from-ai

[26] W. 亨斯霍尔，“肖恩·莱格”，时代周刊（TIME100 AI）。https://time.com/collection/time100-ai/6310659/shane-legg/

[27] M. 哈特，“Google Scholar 个人资料”，Google Scholar 引用。https://scholar.google.com/citations?user=7hmCntEAAAAJ&hl

[28] 也就是说，肖恩·莱格和哈特于 2007 年在心灵与机器上发表了一篇题为“通用智能：机器智能的定义”的论文，这是“机器超级智能”的前身。该论文已积累了超过 1,200 次引用。

[29] 同[1]。

[30] M. 考夫曼，第一次接触：寻找地球外生命的科学突破，重印版。纽约：西蒙与舒斯特，2012 年

[31] 例如，如果你“用旧啤酒罐和风力发电机造了一台计算机；如果它有正确的程序，它就必须有心灵。”J. R. 塞尔，“心灵、大脑与科学：2. 啤酒罐与肉机器”，听众 112（1984 年 11 月 15 日）：14–16

[32] 约翰·华生试图通过关注可观察的行为，将心理学重新定义为一门自然科学，正如他著名的作品《行为主义宣言》所阐述的那样。华生在 20 世纪上半叶引领了这一科学运动。

[33] 大卫·西尔弗、萨廷德·辛格、多伊娜·普雷库普和理查德·萨顿在“奖励足够”中认为，“强化学习问题与行为主义的不同之处在于，它允许一个智能体构建和使用内部状态。”

参考文献

[34] 加州大学伯克利分校，《心灵哲学，第 3 讲（哲学 132，2011 年春季）》，YouTube 视频，2011 年。链接。

[35] 希拉里·普特南提出了一个更严肃的反例，名为“超级斯巴达人”（Super-Spartans），用以攻击行为主义。H. Putnam, “Brains and behavior,” in Readings in Philosophy of Psychology, vol. 1, N. Block (ed.), Cambridge, MA: Harvard University Press, 2013, pp. 24–36, doi:10.4159/harvard.9780674594623.c4

[36] B. F. 斯金纳，《有机体的行为：一项实验分析》。纽约：D. Appleton-Century 公司，1938 年。

[37] 斯金纳箱。链接

[38] B. F. 斯金纳，《言语行为》。纽约：Appleton-Century-Crofts，1957 年

[39] N. 乔姆斯基，“评 B. F. 斯金纳的《言语行为》”，《语言》35 卷，第 1 期（1959 年）：26–58

[40] 斯金纳认为语言是通过行为主义强化学习获得的，而乔姆斯基则认为语言是天生的、进化而来的。S. Pinker，《语言本能：心灵如何创造语言》。纽约：William Morrow，1994 年

[41] “定义谬误”，维基百科。链接

[42] J. Baggini，“路德维希·维特根斯坦持久的 brilliance”，《前景杂志》，2018 年 5 月 7 日。链接

[43] A. M. 图灵，“计算机器与智能”，《心灵》59 卷，第 236 期（1950 年）：433–460，doi: 10.1093/mind/LIX.236.433。链接

[44] P. A. 墨菲，“艾伦·图灵认为‘机器能否思考？’这个问题毫无意义”，《成为人类：人工智能杂志》（Medium），2025 年 1 月 30 日。链接

[45] “艾伦·艾弗森‘训练’新闻发布会”，YouTube 视频。链接

[46] Emerson M. Pugh，在乔治·埃德金·普 ugh 的《人类价值的生物学起源》中被引用，他观察到：“如果人类大脑简单到我们可以理解它，那么我们也会简单到无法理解它”（第 154 页）。

[47] C. R. Jones 和 B. K. Bergen，“大型语言模型通过了图灵测试”，arXiv:2503.23674，2025 年 3 月 31 日，doi: 10.48550/arXiv.2503.23674。链接

[48] 图灵曾著名地表示：“尽管如此，我相信在本世纪末，词语的使用和普通受教育者的舆论将发生如此巨大的变化，以至于人们可以毫无保留地谈论机器在思考，而不用担心被反驳。”同 [43]

[49] S. Bubeck 等人，“人工通用智能的火花：GPT-4 的早期实验”，arXiv:2303.12712，2023 年 3 月，doi: 10.48550/arXiv.2303.12712。链接

[50] 希钦斯的剃刀：Christopher Hitchens，《上帝并不伟大：宗教如何毒害一切》，Kindle 版。Twelve Books，2009 年

[51] OpenAI，“GPT-4”，2023 年 3 月 14 日。链接

[52] 可疑之处：E. Martínez，“重新评估 GPT-4 的律师考试表现”，《人工智能与法律》33 卷（2025 年）：581–604，doi:10.1007/s10506-024-09396-9

[53] Mike Alder，“牛顿的火焰激光剑”，《哲学现在》46 期（2004 年）：29–33

[54] “与历史的对话：休伯特·德雷福斯”，UCTV，YouTube 视频，2008 年。链接

[55] John McCarthy、Marvin Minsky、Nathaniel Rochester 和 Claude E. Shannon，“关于 1955 年 8 月 31 日达特茅斯人工智能夏季研究项目的提案”，《人工智能杂志》27 卷（2006 年）：12–14

[56] “意识的难题”这一短语是由 David Chalmers 创造的。David J. Chalmers，《意识心灵：寻找基础理论》。纽约：牛津大学出版社，1996 年

[57] Hermann Haken 著中的 Johansson，《作为隐喻和工具的机器》。柏林，德国：Springer，1993 年，第 38 页

[58] 路德维希·维特根斯坦，《哲学研究》，G. E. M. Anscombe（编）。纽约：Wiley-Blackwell，1953 年

[59] Anthropic，“Claude Opus 4 和 4.1 现在可以结束一小部分对话”，2025 年 8 月 15 日。链接

尾声

[1] Volodymyr Mnih 等人，“用深度强化学习玩 Atari 游戏”，2013 年。

[2] DeepMind，“深度强化学习”，Google DeepMind 博客，2016 年 6 月 17 日。链接

[3] V. Mnih、K. Kavukcuoglu、D. Silver 等人，“通过深度强化学习实现人类水平的控制”，《自然》518 卷（2015 年）：529–533。链接

[4] AI Rev，“AlphaGo：技术深度解析”，AI Rev。链接

[5] D. Silver、J. Schrittwieser、K. Simonyan 等人，“在没有人类知识的情况下掌握围棋”，《自然》550 卷，第 7676 期（2017 年 10 月）：354–359

[6] J. Schrittwieser、I. Antonoglou、T. Hubert、K. 等人，“通过学习模型的规划掌握 Atari、围棋、国际象棋和将棋”，《自然》588 卷（2020 年 12 月）：604–609

[7] Google Research，“开源 BERT：自然语言处理的最先进预训练”，Google Research 博客，2018 年 11 月 2 日。链接

[8] J. Devlin、M.-W. Chang、K. Lee 和 K. Toutanova，“BERT：用于语言理解的深度双向 Transformer 的预训练”，arXiv 预印本，arXiv:1810.04805，2018 年。链接

[9] C. Raffel、N. Shazeer、A. Roberts、K. Lee、S. Narang、M. Matena、Y. Zhou、W. Li、P. J. Liu，“探索统一文本到文本 Transformer 的迁移学习极限”，《机器学习研究杂志》21卷，第 140 期（2020 年）：1–67。链接

[10] N. Shibuya，“ViT：视觉 Transformer（2020）”，Naoki Shibuya 博客，2022 年 11 月 2 日。链接

[11] A. Dosovitskiy 等人，“一张图像值 16x16 个词：用于大规模图像识别的 Transformer”，arXiv 预印本，arXiv:2010.11929，2020 年。链接

[12] T. Chen、S. Kornblith、M. Norouzi 和 G. Hinton，“用于视觉表征对比学习的简单框架”，载于《国际机器学习会议论文集（ICML）》，2020 年，第 1597–1607 页。链接

[13] K. He、H. Fan、Y. Wu、S. Xie 和 R. Girshick，“用于无监督视觉表征学习的动量对比”，载于《IEEE/CVF 计算机视觉与模式识别会议论文集（CVPR）》，2020 年，第 9729–9738 页。链接

参考文献

[14] T. Chen, S. Kornblith, M. Norouzi, and G. Hinton, "视觉表征对比学习的简单框架," arXiv [cs.LG], 2020

[15] J.-B. Grill, F. Strub, F. Altché, et al., "自举潜在表示：自监督学习的新方法," in Advances in Neural Information Processing Systems, vol. 33, 2020. arxiv.org/abs/2006.07733

[16] M. Caron, I. Misra, J. Mairal, P. Goyal, P. Bojanowski, and A. Joulin, "通过对比聚类分配进行无监督视觉特征学习," in Advances in Neural Information Processing Systems, vol. 33, 2020. arxiv.org/abs/2006.09882

[17] A. Radford et al., "从自然语言监督中学习可迁移的视觉模型," arXiv preprint, arXiv:2103.00020, 2021. arxiv.org/abs/2103.00020

[18] A. Nichol, P. Dhariwal, P. Ramesh, P. Shyam, M. Mishkin, B. McGrew, and I. Sutskever, "GLIDE：使用文本引导扩散模型进行逼真图像生成与编辑," arXiv preprint, arXiv:2112.10741, 2021. arxiv.org/abs/2112.10741

[19] A. Ramesh, P. Dhariwal, A. Nichol, C. Chu, and M. Chen, "使用 CLIP 潜在表示的层次化文本条件图像生成," arXiv preprint, arXiv:2204.06125, 2022. arxiv.org/abs/2204.06125

[20] R. Rombach, A. Blattmann, D. Lorenz, P. Esser, and B. Ommer, "使用潜在扩散模型的高分辨率图像合成," in Proceedings of the IEEE/CVF Conference on Computer Visual Pattern Recognition (CVPR), 2022, pp. 10684–10695. arxiv.org/abs/2112.10752

[21] J. Jumper, R. Evans, A. Pritzel, T. Green, et al., "使用 AlphaFold 进行高精度蛋白质结构预测," Nature. 596, no. 7873 (Aug. 2021): 583–589

[22] DeepMind, "AlphaFold：解决生物学 50 年重大挑战的方案," Google DeepMind Blog, Nov. 30, 2020. deepmind.google/blog/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology/

[23] J. Jumper et al., "使用 AlphaFold 进行高精度蛋白质结构预测," Nature 596 (2021): 583–589

[24] K. Tunyasuvunakool, J. Adler, Z. Wu, et al., "人类蛋白质组的高精度蛋白质结构预测," Nature 596, no. 7873 (Aug. 2021): 590–596

[25] E. Callaway, "'这将改变一切'：DeepMind 的 AI 在解决蛋白质结构问题上迈出巨大步伐," Nature 588 (Dec. 2020): 203–204

[26] Q. V. Le et al., "使用大规模无监督学习构建高级特征," arXiv preprint, arXiv:1112.6209, 2011. arxiv.org/abs/1112.6209

[27] J. Schmidhuber, "使用历史压缩原理学习复杂、扩展序列", 1992

[28] C. Bucila, R. Caruana, and A. Niculescu-Mizil, "模型压缩", on Knowledge Discovery and Data Mining conference, 2006.

[29] L. J. Ba and R. Caruana, "深度网络真的需要深度吗？" arXiv [cs.LG], 2014

[30] G. Hinton, O. Vinyals, J. Dean (2015). "神经网络中的知识蒸馏"

[31] G. Hinton, "暗知识," YouTube video, TTIC Distinguished Lecture Series, 2014. www.youtube.com/watch?v=F5gXXubLo9s

[32] G. Hinton, "暗知识," TTIC Distinguished Lecture Series, 2014. www.ttic.edu/dl/dark14.pdf

[33] W. Knight, "蒸馏如何使 AI 模型更小、更便宜," WIRED, Sep. 20, 2025. www.wired.com/story/how-distillation-makes-ai-models-smaller-and-cheaper/

[34] V. Sanh, L. Debut, J. Chaumond, and T. Wolf, "DistilBERT，BERT 的蒸馏版本：更小、更快、更便宜、更轻," arXiv preprint, arXiv:1910.01108, 2019. arxiv.org/abs/1910.01108

[35] OpenAI, "使语言模型遵循指令," OpenAI, Jan. 27, 2022. openai.com/index/instruction-following/

[36] L. Ouyang et al., "使用人类反馈训练语言模型遵循指令," arXiv preprint, arXiv:2203.02155, 2022. arxiv.org/abs/2203.02155

[37] C. R. Wolfe, "直接偏好优化（DPO）," Deep (Learning) Focus, Substack, Jul. 28, 2025. cameronrwolfe.substack.com/p/direct-preference-optimization

[38] R. Rafailov, A. Sharma, E. Mitchell, S. Ermon, C. D. Manning, and C. Finn, "直接偏好优化：你的语言模型实际上是一个奖励模型," arXiv preprint, arXiv:2305.18290, 2023. arxiv.org/abs/2305.18290

[39] Y. Bai et al., "宪法 AI：来自 AI 反馈的无害性," arXiv preprint, arXiv:2212.08073, 2022. arxiv.org/abs/2212.08073

[40] J. Johnson, M. Douze, and H. Jégou, "使用 GPU 进行十亿级相似度搜索," IEEE Transactions on Big Data, 2019

[41] S. Yao et al., "ReAct：在语言模型中协同推理与行动," arXiv [cs.CL], 2023

[42] T. Schick et al., "Toolformer：语言模型可以自学使用工具," arXiv [cs.CL], 2023

[43] github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek\_R1.pdf

[44] OpenAI, "介绍 OpenAI o1," OpenAI, Sep. 12, 2024. openai.com/o1/

[45] OpenAI, "使用 LLM 学习推理," OpenAI, Sep. 12, 2024. openai.com/index/learning-to-reason-with-llms/

[46] OpenAI, "OpenAI o1 系统卡," OpenAI, Dec. 5, 2024. openai.com/index/openai-o1-system-card/

[47] K. Robison, "OpenAI 发布 o1，其首个具有'推理'能力的模型," The Verge, Sep. 12, 2024. www.theverge.com/2024/9/12/24242439/openai-o1-model-reasoning-strawberry-chatgpt

[48] 同[47]

索引

符号

• 1F1B（一次前向、一次后向）调度

A

• ARC-AGI（抽象与推理语料库）

• 算法随机性

• 通用人工智能（AGI）

• ARC-AGI-2

• AI（人工智能）

• Sutskever 列表，定义, 第 2 版

• AI 安全

• AGI（作为领域）

• AI foom

• 效果, 第 2 版

• 智能爆炸

• 带注释的 Transformer

• AlexNet, 第 2 版, 第 3 版, 第 4 版, 第 5 版, 第 6 版

• 效果, 第 2 版

• 高效可扩展训练, 第 2 版

• 网络架构, 第 2 版

• 前 AlexNet 怀疑, 第 2 版

• 训练创新

• Attention Is All You Need（Vaswani et al.），效果, 第 2 版

• all-reduce 例程

• Altman, Sam

• 表面复杂性

A

• AGI（通用人工智能）, 第 2 次, 第 3 次, 第 4 次

• 人工神经网络（ANNs）

  • 保持简单

• AlphaGo

• ASR（自动语音识别）

• 注意力, 第 2 次

B

• 忙碌海狸函数

• Bahdanau 注意力, 第 2 次

  • 实验结果

  • 模型架构

  • 意义

• 批量调度

• Blockhead

• BPE（字节对编码）

• 二进制序列预测任务

C

• 凸包

• CNNs（卷积神经网络）

• 复杂性

  • 咖啡自动机

• 上下文模块

• CoT（思维链）提示

• CVPR（计算机视觉与模式识别会议）

• 控制器网络

• 奇雷桑，丹

• 组合任务

• Grokking 的复杂性动态（DeMoss 等人）

• ChatGPT, 第 2 次

• 克里斯托菲德斯算法

• 通道，定义

• char-rnn 模型, 第 2 次

• 肖莱，弗朗索瓦

• CS231n 课程

• 成分句法分析

• 收敛

• 基于内容的寻址

• CTC（连接时序分类）

D

• 数据增强

• DPM（可变形部件模型）

• 深度学习

• Deep Speech 2（DS2）

  • 核心架构

  • 工程变革, 第 2 次

  • 意义与更广泛的影响

  • 训练技术, 第 2 次

• 丹尼特，丹尼尔

• 数据并行

• DFT（密度泛函理论）

• DS2（Deep Speech 2）

• DNC（可微神经计算机）

• DimeNet

• DanNet

E

• 遍历环境

• 埃夫罗斯，阿廖沙

• 涌现能力

F

• FFN（前馈网络）

• FLOPs（浮点运算）, 第 2 次

• 福多尔，杰里·A.

• FC（全连接）层

• 遗忘门

• FAIR（Facebook 人工智能研究）

• 特征工程, 第 2 次

• FP16（半精度）

G

• GAN（生成对抗网络）

• Graves 注意力

• 图模型似然估计

• GitHub

• 哥德尔不完备定理

• GRUs（门控循环单元）

• 戈德堡，约阿夫, 第 2 次, 第 3 次, 第 4 次, 第 5 次

• GPT-2

• Grokking

  • 压缩

  • 双重下降, 第 2 次

  • 从理论到实践再到理论, 第 2 次

• GPT-2（生成式预训练 Transformer 2）, 第 2 次

  • 争议

• GPT-3 模型

H

• HOG（方向梯度直方图）

• 霍赫赖特，塞普

• Hacker News

• 辛顿，杰弗里, 第 2 次

• Hopfield 网络

I

• IoU（交并比）

• 输入门

• iGPT（图像生成预训练 Transformer）

• ILSVRC（ImageNet 大规模视觉识别挑战赛）, 第 2 次

• ImageNet, 第 2 次, 第 3 次

• 恒等函数

• 无限数据极限

• ICLM（国际机器学习会议）