Hello-Agents——第二章 智能体发展史

 每⼀个新范式的出现，都是为了解决上⼀代范式的核⼼“痛点”或根本局限。

2.1 基于符号与逻辑的早期智能体

⼈⼯智能的第⼀个重要范式：符号主义（Symbolicism），在符号主义看来，智能⾏为的核⼼是基于⼀套明确规则对符号进⾏操作。这个时代的智能体，其“智慧”完全来源于设计者预先编码的知识库和推理规则，⽽⾮通过⾃主学习获得。

2.1.1 物理符号系统假说（PhysicalSymbol SystemHypothesis, PSSH）

PSSH⼤胆地宣称：智能的本质，就是符号的计算与处理。它将对⼈类⼼智这⼀模糊、复杂的哲学问题的研究，转化为了⼀个可以在计算机上进⾏⼯程化实现的具体问题。整个符号主义时代的研究，从专家系统到⾃动规划，⼏乎都是在这⼀假说的指引下展开的。

2.1.2 专家系统

在物理符号系统假说的直接影响下，专家系统（Expert System）成为符号主义时代最重要、最成功的应⽤成果。⼀个典型的专家系统通常由知识库、推理机、⽤户界⾯等⼏个核⼼部分构成。这种架构清晰地体现了知识与推理相分离的设计思想，是符号主义AI的重要特征。

2.1.3 SHRDLU

SHRDLU旨在构建⼀个能在“积⽊世界”这⼀微观环境中，通过⾃然语⾔与⼈类流畅交互的综合性智能体。⽤户通过⾃然语⾔向SHRDLU下达指令或提问，SHRDLU则在虚拟世界中执⾏动作或给出⽂字回答。

SHRDLU在当时引起⼴泛关注，主要原因在于它⾸次将多个独⽴的⼈⼯智能模块（如语⾔解析、规划、记忆）集成在⼀个统⼀的系统中，并使它们协同⼯作：

⾃然语⾔理解：SHRDLU能够解析结构复杂且含有歧义的英语句⼦。

规划与⾏动：在理解指令后，SHRDLU能够⾃主规划出⼀系列必要的动作来完成任务。

记忆与问答：SHRDLU拥有关于其所处环境和⾃身⾏为的记忆。

SHRDLU的历史地位与影响主要体现在三个⽅⾯：

综合性智能的典范：在SHRDLU之前，AI研究⼤多聚焦于单⼀功能。它⾸次将语⾔理解、推理规划与⾏动记忆等多个AI模块集成于统⼀系统，其“感知-思考-⾏动”的闭环设计，奠定了现代智能体研究的基础。

微观世界研究⽅法的普及：它的成功证明了在⼀个规则明确的简化环境中，探索和验证复杂智能体基本原理的可⾏性，这⼀⽅法深刻影响了后续的机器⼈学与AI规划研究。

引发的乐观与反思：SHRDLU的成功激发了对AGI的早期乐观预期，但其能⼒⼜严格局限于积⽊世界。这种局限性引发了AI领域关于“符号处理”与“真正理解”之间差异的⻓期思辨，揭示了通往通⽤智能的深层挑战。

2.1.4 符号主义⾯临的根本性挑战

常识知识与知识获取瓶颈：符号主义智能体的“智能”完全依赖于其知识库的质量和完备性。

知识获取瓶颈（Knowledge Acquisition Bottleneck）：专家系统的知识需要由⼈类专家和知识⼯程师通过繁琐的访谈、提炼和编码过程来构建。这个过程成本⾼昂、耗时漫⻓，且难以规模化。更重要的是，⼈类专家的许多知识是内隐的、直觉性的，很难被清晰地表达为“IF-THEN”规则。试图将整个世界的知识都进⾏⼿⼯符号化，被认为是⼀项⼏乎不可能完成的任务。

常识问题（Common-sense Problem）：⼈类⾏为依赖于庞⼤的常识背景（例如，“⽔是湿的”、“绳⼦可以拉不能推”），但符号系统除⾮被明确编码，否则对此⼀⽆所知。为⼴阔、模糊的常识建⽴完备的知识库⾄今仍是重⼤挑战，Cyc项⽬历经数⼗年努⼒，其成果和应⽤仍然⾮常有限。

框架问题与系统脆弱性：符号主义在处理动态变化的世界时也遇到了逻辑上的困境。

框架问题（Frame Problem）：在⼀个动态世界中，智能体执⾏⼀个动作后，如何⾼效判断哪些事物未发⽣改变是⼀个逻辑难题。为每个动作显式地声明所有不变的状态，在计算上是不可⾏的，⽽⼈类却能毫不费⼒地忽略不相关的变化。

系统脆弱性（Brittleness）：符号系统完全依赖预设规则，导致其⾏为⾮常“脆弱”。⼀旦遇到规则之外的任何微⼩变化或新情况，系统便可能完全失灵，⽆法像⼈类⼀样灵活变通。SHRDLU的成功，也正是因为它运⾏在⼀个规则完备的封闭世界⾥，⽽真实世界充满了例外。

2.2 构建基于规则的聊天机器⼈

2.2.1 ELIZA 的设计思想

ELIZA是的⼀个计算机程序，但并⾮⼀个单⼀的程序，⽽是⼀个可以执⾏不同 “脚本”的框架。其中，最⼴为⼈知也最成功的脚本是“DOCTOR”，它模仿了⼀位罗杰斯学派的⾮指导性⼼理治疗师。

ELIZA的⼯作⽅式极其巧妙：它从不正⾯回答问题或提供信息，⽽是通过识别⽤户输⼊中的关键词，然后应⽤⼀套预设的转换规则，将⽤户的陈述转化为⼀个开放式的提问。例如，当⽤户说“我为我的男朋友感到难过”时，ELIZA可能会识别出关键词“我为……感到难过”，并应⽤规则⽣成回应：“你为什么会为你的男朋友感到难过？”

魏泽鲍姆的设计思想并⾮要创造⼀个真正能够“理解”⼈类情感的智能体，恰恰相反，他想证明的是，通过⼀些简单的句式转换技巧，机器可以在完全不理解对话内容的情况下，营造出⼀种“智能”和“共情”的假象。然⽽，出乎他意料的是，许多与ELIZA交互过的⼈（包括他的秘书）都对其产⽣了情感上的依赖，深信它能够理解⾃⼰。

2.2.2 模式匹配与⽂本替换

ELIZA的算法流程基于模式匹配（Pattern Matching）与⽂本替换（Text Substitution），可被清晰地分解为以下四个步骤：

1. 关键词识别与排序：规则库为每个关键词（如 mother , dreamed , depressed ）设定⼀个优先级。当输⼊包含多个关键词时，程序会选择优先级最⾼的关键词所对应的规则进⾏处理。

2. 分解规则：找到关键词后，程序使⽤带通配符（ * ）的分解规则来捕获句⼦的其余部分。

　　1. 规则示例： * my *

　　2. ⽤户输⼊： "My mother is afraid of me"

　　3. 捕获结果： ["", "mother is afraid of me"]

3. 重组规则：程序从与分解规则关联的⼀组重组规则中，选择⼀条来⽣成回应（通常随机选择以增加多样性），并可选择性地使⽤上⼀步捕获的内容。

　　1. 规则示例： "Tell me more about your family."

　　2. ⽣成输出： "Tell me more about your family."

4. 代词转换：在重组前，程序会进⾏简单的代词转换（如 I → you , my → your ），以维持对话的连贯性。

FUNCTION generate_response(user_input):
　　// 1. 将⽤户输⼊拆分成单词
　　words = SPLIT(user_input)
　　// 2. 寻找优先级最⾼的关键词规则
　　best_rule = FIND_BEST_RULE(words)
　　IF best_rule is NULL:
　　　　RETURN a_generic_response() // 例如:"Please go on."
　　// 3. 使⽤规则分解⽤户输⼊
　　decomposed_parts = DECOMPOSE(user_input, best_rule.decomposition_pattern)
　　IF decomposition_failed:
　　　　RETURN a_generic_response()
　　// 4. 对分解出的部分进⾏代词转换
　　transformed_parts = TRANSFORM_PRONOUNS(decomposed_parts)
　　// 5. 使⽤重组规则⽣成回应
　　response = REASSEMBLE(transformed_parts, best_rule.reassembly_patterns)
　　RETURN response

通过ELIZA的算法流程的解析，我们可以直观地总结出规则驱动系统的根本局限性：

缺乏语义理解：系统不理解词义。

⽆上下⽂记忆：系统是⽆状态的（Stateless），每次回应仅基于当前单句输⼊，⽆法进⾏连贯的多轮对话。

规则的扩展性问题：尝试增加更多规则会导致规则库的规模爆炸式增⻓，规则间的冲突与优先级管理将变得极其复杂，最终导致系统难以维护。

ELIZA的实践清晰地揭示了符号主义⽅法的核⼼⽭盾：系统看似智能的表现，完全依赖于设计者预先编码的规则。然⽽，⾯对真实世界语⾔的⽆限可能性，这种穷举式的⽅法注定不可扩展。系统没有真正的理解，只是在执⾏符号操作，这正是其脆弱性的根源。

2.3 ⻢⽂·明斯基的⼼智社会

2.3.1 对单⼀整体智能模型的反思

⼀个全知全能的中央处理器，根据⼀套统⼀的逻辑规则来处理信息和做出决策，这种符号主义的设计思路的局限性日益明显。明斯基开始提出⼀系列根本性的问题：

“理解”是什么？ 当我们说我们理解⼀个故事时，这是⼀种单⼀的能⼒吗？还是说，它其实是视觉化能⼒、逻辑推理能⼒、情感共鸣能⼒、社会关系常识等数⼗种不同⼼智过程协同⼯作的结果？

“常识”是什么？ 常识是⼀个包含了数百万条逻辑规则的庞⼤知识库吗（如Cyc项⽬的尝试）？还是说，它是⼀种分布式的、由⽆数具体经验和简单规则⽚段交织⽽成的⽹络？

智能体应该如何构建？ 我们是否应该继续追求⼀个完美的、统⼀的逻辑系统，还是应该承认，智能本身就是“不完美”的、由许多功能各异、甚⾄会彼此冲突的简单部分组成的⼤杂烩？

正是基于这样的反思，明斯基提出了⼀个颠覆性的构想，他不再将⼼智视为⼀个⾦字塔式的层级结构，⽽是将其看作⼀个扁平化的、充满了互动与协作的“社会”。

2.3.2 作为协作体的智能

简单的智能体被组合起来，形成一个功能强大的机构。在机构中，智能体之间通过去中⼼化的激活与抑制信号相互影响，形成动态的控制流。以此完成一个复杂的任务。

让我们以经典的“搭建积⽊塔”任务为例，来说明这⼀过程。当⼀个⾼层⽬标（如“我要搭⼀个塔”）出现时，它会激活⼀个名为 BUILD-TOWER 的⾼层机构。

1. BUILD-TOWER 机构并不知道如何执⾏具体的物理动作，它的唯⼀作⽤是激活它的下属机构，⽐如 BUILDER 。

2. BUILDER 机构同样很简单，它可能只包含⼀个循环逻辑：只要塔还没搭完，就激活ADD-BLOCK 机构。

3. ADD-BLOCK 机构则负责协调更具体的⼦任务，它会依次激活FIND-BLOCK 、 GET-BLOCK 和 PUT-ON-TOP这三个⼦机构。

4. 每⼀个⼦机构⼜由更底层的智能体构成。例如，GET-BLOCK 机构会激活视觉系统中的 SEE-SHAPE 智能体、运动系统中的 REACH 和 GRASP 智能体。

在这个过程中，没有任何⼀个智能体或机构拥有整个任务的全局规划。GRASP 只负责抓握，它不知道什么是塔；BUILDER只负责循环，它不知道如何控制⼿臂。然⽽，当这个由⽆数“⽆⼼”的智能体组成的社会，通过简单的激活和抑制规则相互作⽤时，⼀个看似⾼度智能的⾏为，搭建积⽊塔，就⾃然⽽然地涌现了出来。

2.3.3 对多智能体系统的理论启发

⼼智社会理论最深远的影响，在于它为分布式⼈⼯智能（Distributed Artificial Intelligence, DAI）以及后来的多智能体系统（Multi-Agent System, MAS）提供了重要的概念基础。它引出研究者们的思考：

如果⼀个⼼智内部的智能，是通过⼤量简单智能体的协作⽽涌现的，那么，在多个独⽴的、物理上分离的计算实体（计算机、机器⼈）之间，是否也能通过协作涌现出更强⼤的“群体智能”？

这个问题的提出，直接将研究焦点从“如何构建⼀个全能的单⼀智能体”转向了“如何设计⼀个⾼效协作的智能体群体”。具体⽽⾔，⼼智社会在以下⼏个⽅⾯直接启发了多智能体系统的研究：

去中⼼化控制（Decentralized Control）：理论的核⼼在于不存在中央控制器。这⼀思想被MAS领域完全继承，如何设计没有中⼼节点的协调机制和任务分配策略，成为了MAS的核⼼研究课题之⼀。

涌现式计算（Emergent Computation）：复杂问题的解决⽅案可以从简单的局部交互规则中⾃发产⽣。这启发了MAS中⼤量基于涌现思想的算法，如蚁群算法、粒⼦群优化等，⽤于解决复杂的优化和搜索问题。

智能体的社会性（Agent Sociality）：明斯基的理论强调了智能体之间的交互（激活、抑制）。MAS领域将其进⼀步扩展，系统地研究智能体之间的通信语⾔（如ACL）、交互协议（如契约⽹）、协商策略、信任模型乃⾄组织结构，从⽽构建起真正的计算社会。

可以说，明斯基的“⼼智社会”理论，为AI研究者理解“群体智能”的内在构造提供了重要的分析框架。它为后来的研究者们提供了⼀套全新的视⻆，去探索由独⽴的、⾃治的、具备社会能⼒的计算智能体所构成的复杂系统，从⽽正式开启了多智能体系统研究的序幕。

2.4 学习范式的演进与现代智能体

2.4.1 从符号到联结

针对符号主义的局限性，联结主义逐渐兴起。联结主义是⼀种⾃下⽽上的⽅法，其灵感来源于对⽣物⼤脑神经⽹络结构的模仿。它的核⼼思想可以概括为以下⼏点：

1. 知识的分布式表示：知识并⾮以明确的符号或规则形式存储在某个知识库中，⽽是以连接权重的形式，分布式地存储在⼤量简单的处理单元（即⼈⼯神经元）的连接之间。整个⽹络的连接模式本身就构成了知识。

2. 简单的处理单元：每个神经元只执⾏⾮常简单的计算，如接收来⾃其他神经元的加权输⼊，通过⼀个激活函数进⾏处理，然后将结果输出给下⼀个神经元。

3. 通过学习调整权重：系统的智能并⾮来⾃于设计者预先编写的复杂程序，⽽是来⾃于“学习”过程。系统通过接触⼤量样本，根据某种学习算法（如反向传播算法）⾃动、迭代地调整神经元之间的连接权重，从⽽使得整个⽹络的输出逐渐接近期望的⽬标。

在这种范式下，智能体不再是⼀个被动执⾏规则的逻辑推理机，⽽是⼀个能够通过经验⾃我优化的适应性系统。如图2.7所示，这代表了构建智能体核⼼思想的根本性转变。符号主义试图将⼈类的知识显式地编码给机器，⽽联结主义则试图创造出能够像⼈类⼀样学习知识的机器。

联结主义的兴起，特别是深度学习在21世纪的成功，为智能体赋予了强⼤的感知和模式识别能⼒，使其能够直接从原始数据（如图像、声⾳、⽂本）中理解世界，这是符号主义时代难以想象的。然⽽，如何让智能体学会在与环境的动态交互中做出最优的序贯决策，则需要另⼀种学习范式的补充。

2.4.2 基于强化学习的智能体

联结主义主要解决了感知问题（例如，“这张图⽚⾥有什么？”），但智能体更核⼼的任务是进⾏决策（例如，“在这种情况下，我应该做什么？”）。强化学习（Reinforcement Learning, RL）正是专注于解决序贯决策问题的学习范式。它并⾮直接从标注好的静态数据集中学习，⽽是通过智能体与环境的直接交互，在“试错”中学习如何最⼤化其⻓期收益。

以AlphaGo为例，其核⼼的⾃我对弈学习过程便是强化学习的经典体现。在这个过程中，AlphaGo（智能体）通过观察棋盘的当前布局（环境状态），决定下⼀步棋的落⼦位置（⾏动）。⼀局棋结束后，根据胜负结果，它会收到⼀个明确的信号：赢了就是正向奖励，输了则是负向奖励。通过数百万次这样的⾃我对弈，AlphaGo不断调整其内部策略，逐渐学会了在何种棋局下选择何种⾏动，最有可能导向最终的胜利。这个过程完全是⾃主的，不依赖于⼈类棋谱的直接指导。

这种通过与环境互动、根据反馈信号来优化⾃身⾏为的学习机制，就是强化学习的核⼼框架。

强化学习的框架可以⽤⼏个核⼼要素来描述：

智能体（Agent）：学习者和决策者。在AlphaGo的例⼦中，就是其决策程序。

环境（Environment）：智能体外部的⼀切，是智能体与之交互的对象。对AlphaGo⽽⾔，就是围棋的规则和对⼿。

状态（State, S）：对环境在某⼀时刻的特定描述，是智能体做出决策的依据。例如，棋盘上所有棋⼦的当前位置。

⾏动（Action, A）：智能体根据当前状态所能采取的操作。例如，在棋盘的某个合法位置上落下⼀⼦。

奖励（Reward, R）：环境在智能体执⾏⼀个⾏动后，反馈给智能体的⼀个标量信号，⽤于评价该⾏动在特定状态下的好坏。例如，在⼀局棋结束后，胜利获得+1的奖励，失败获得-1的奖励。

基于上述核⼼要素，强化学习智能体在⼀个“感知-⾏动-学习”的闭环中持续迭代，其⼯作模式如图2.8所示。

智能体的学习⽬标，并⾮最⼤化某⼀个时间步的即时奖励，⽽是最⼤化从当前时刻开始到未来的累积奖励（Cumulative Reward），也称为回报（Return）。这意味着智能体需要具备“远⻅”，有时为了获得未来更⼤的奖励，需要牺牲当前的即时奖励（例如，围棋中的“弃⼦”策略）。通过在上述循环中不断探索、收集反馈并优化策略，智能体最终能够学会在复杂动态环境中进⾏⾃主决策和⻓期规划。

2.4.3 基于⼤规模数据的预训练

强化学习赋予了智能体从交互中学习决策策略的能⼒，但这通常需要海量的、针对特定任务的交互数据，导致智能体在学习之初缺乏先验知识，需要从零开始构建对任务的理解。⽆论是符号主义试图⼿动编码的常识，还是⼈类在决策时所依赖的背景知识，在RL智能体中都是缺失的。如何让智能体在开始学习具体任务前，就先具备对世界的⼴泛理解？这⼀问题的解决⽅案，最终在⾃然语⾔处理（Natural Language Processing,NLP）领域中浮现，其核⼼便是基于⼤规模数据的预训练（Pre-training）。

从特定任务到通⽤模型

预训练阶段：⾸先在⼀个包含互联⽹级别海量⽂本数据的通⽤语料库上，通过⾃监督学习（Self-supervised Learning）的⽅式训练⼀个超⼤规模的神经⽹络模型。这个阶段的⽬标不是完成任何特定任务，⽽是学习语⾔本身内在的规律、语法结构、事实知识以及上下⽂逻辑。最常⻅的⽬标是“预测下⼀个词”。

微调阶段：完成预训练后，这个模型就已经学习到了和数据集有关的丰富知识。之后，针对特定的下游任务，只需使⽤少量该任务的标注数据对模型进⾏微调，即可让模型适应对应任务。

如图2.9所示，直观地展示了这⼀预训练与微调的完整流程：通⽤⽂本数据经过⾃监督学习形成基础模型，随后通过特定任务数据进⾏微调，最终适应各项下游任务。

⼤型语⾔模型的诞⽣与涌现能⼒

当模型的规模（参数量、数据量、计算量）跨越某个阈值后，它们开始展现出未被直接训练的、预料之外的涌现能⼒（Emergent Abilities），例如：

上下⽂学习（In-context Learning）：⽆需调整模型权重，仅在输⼊中提供⼏个示例（Few-shot）甚⾄零个示例（Zero-shot），模型就能理解并完成新的任务。

思维链（Chain-of-Thought）推理：通过引导模型在回答复杂问题前，先输出⼀步步的推理过程，可以显著提升其在逻辑、算术和常识推理任务上的准确性。

⾄此，智能体发展的历史⻓河中，⼏⼤关键的技术拼图已经悉数登场：符号主义提供了逻辑推理的框架，联结主义和强化学习提供了学习与决策的能⼒，⽽⼤型语⾔模型则提供了前所未有的、通过预训练获得的世界知识和通⽤推理能⼒。

2.4.4 基于⼤语⾔模型的智能体

LLM驱动的智能体通过⼀个由多个模块协同⼯作的、持续迭代的闭环流程来完成任务。该流程遵循图2.10所示的架构，具体步骤如下：

1. 感知 (Perception) ：流程始于感知模块 (Perception Module)。它通过传感器从外部环境(Environment) 接收原始输⼊，形成观察 (Observation)。这些观察信息（如⽤户指令、API返回的数据或环境状态的变化）是智能体决策的起点，处理后将被传递给思考阶段。

2. 思考 (Thought) ：这是智能体的认知核⼼，对应图中的规划模块 (Planning Module) 和⼤型语⾔模型(LLM) 的协同⼯作。

　　规划与分解：⾸先，规划模块接收观察信息，进⾏⾼级策略制定。它通过反思 (Reflection) 和⾃我批判 (Self-criticism) 等机制，将宏观⽬标分解为更具体、可执⾏的步骤。

　　推理与决策：随后，作为中枢的LLM 接收来⾃规划模块的指令，并与记忆模块 (Memory) 交互以整合历史信息。LLM进⾏深度推理，最终决策出下⼀步要执⾏的具体操作，这通常表现为⼀个⼯具调⽤ (Tool Call)。

3. ⾏动 (Action) ：决策完成后，便进⼊⾏动阶段，由执⾏模块 (Execution Module) 负责。LLM⽣成的⼯具调⽤指令被发送到执⾏模块。该模块解析指令，从⼯具箱 (Tool Use) 中选择并调⽤合适的⼯具（如代码执⾏器、搜索引擎、API等）来与环境交互或执⾏任务。这个与环境的实际交互就是智能体的⾏动 (Action)。

4. 观察 (Observation) 与循环 ：⾏动会改变环境的状态，并产⽣结果。

　　⼯具执⾏后会返回⼀个⼯具结果 (Tool Result) 给LLM，这构成了对⾏动效果的直接反馈。同时，智能体的⾏动改变了环境，从⽽产⽣了⼀个全新的环境状态。

　　这个“⼯具结果”和“新的环境状态”共同构成了⼀轮全新的观察 (Observation)。这个新的观察会被感知模块再次捕获，同时LLM会根据⾏动结果更新记忆 (Memory Update)，从⽽启动下⼀轮“感知-思考-⾏动”的循环。

这种模块化的协同机制与持续的迭代循环，构成了LLM驱动智能体解决复杂问题的核⼼⼯作流。

2.4.5 智能体发展关键节点概览

1. 符号主义 (Symbolism) ：认为智能的核⼼在于对符号的操作与逻辑推理。

2. 联结主义 (Connectionism) ：其灵感源于对⼤脑神经⽹络的模拟。

3. ⾏为主义 (Behaviorism) ：强调智能体通过与环境的互动和试错来学习最优策略，其现代化身为强化学习 。

进⼊21世纪20年代，这些思想流派以前所未有的⽅式深度融合。以GPT系列为代表的⼤语⾔模型，其本身是联结主义的产物，却成为了执⾏符号推理、进⾏⼯具调⽤和规划决策的核⼼“⼤脑”，形成了神经-符号结合的现代智能体架构。

得益于⼤语⾔模型的突破，智能体技术栈呈现出前所未有的活跃度和多样性。图2.12展示了当前AI Agent领域的⼀个典型技术栈全貌，涵盖了从底层模型到上层应⽤的各个环节。

该技术栈图由Letta公司于2024年11⽉发布，它将AI智能体相关的⼯具、平台和服务进⾏了分层与分类，为我们理解当前的市场格局和技术选型提供了宝贵的参考。