从专家系统到可控 AI：一次并不激进的技术回归

如果你做过足够久的软件系统，会发现一件事：

真正能活下来的技术，从来不是最“聪明”的那一代，而是最“可控”的那一代。

最近两年，AI Agent 再次把“自治系统”的概念推到了台前。但站在更长的时间尺度上看，这一幕并不陌生。

一、我们其实见过一次“自治幻觉”

上世纪 80～90 年代，专家系统曾被寄予厚望：

规则驱动

自动推理

替代专家决策

但它们最终失败的原因，并不是“规则不够多”，而是：

一旦系统开始自己推导结论，人类就逐渐失去了对它的控制。

当规则之间发生冲突、边界模糊、异常输入出现时，系统既无法解释，也无法被安全地停止。

专家系统退场后，软件工程走向了一个更务实的方向：

明确职责边界

可预测行为

人类负责最终判断

二、今天的 Agent，更像“升级版的老问题”

换成大模型之后，技术外壳变了，但结构问题其实高度相似。

很多 Agent 系统的默认假设是：

模型可以自己规划

自己选择工具

自己完成闭环执行

在演示环境里，这种设计非常漂亮；
但一旦进入真实系统，就会暴露出老问题：

行为不可复现

决策路径不可冻结

出事后无法追责

这并不是模型能力的问题，而是系统结构的问题。

三、软件工程的一个长期规律：
能规模化的系统，一定是“可控”的

无论是：

操作系统

数据库

金融交易系统

航空控制系统

它们有一个共同点：

关键决策从来不会交给不可预测的组件。

不可预测的组件可以存在，但必须被包裹在：

明确接口

确定性规则

人类监督

之内。

四、可控 AI，并不是激进路线，而是工程回归

很多人把“可控 AI”理解为保守甚至倒退，但从工程史看，它反而是一次回归：

回归明确职责

回归可审计性

回归人类责任主体

在可控架构中：

AI 负责语义理解、信息提取、风险提示

决策逻辑被冻结在确定性模块中

人类保留最终否决权

这并不是限制 AI，而是为它划定可以长期运行的边界。

五、Agent 仍然重要，但不再是“系统中心”

从长期架构看，Agent 并不会消失，但它的位置会发生变化：

从“自治体”

变成“协作者”

它的价值体现在：

降低人类认知负担

提供更全面的信息视角

协助发现异常与风险

但它不再承担“拍板”的角色。

六、技术成熟的标志，不是能力爆炸，而是边界清晰

每一次技术从实验走向基础设施，都会经历同一过程：

能力快速膨胀

风险集中暴露

控制结构成型

才能规模化运行

AI 正在走到第 3 步。

七、结语：
可控，不是限制未来，而是让未来可持续

如果说过去十年，软件工程解决的是“如何把系统做大”；
那么接下来十年，解决的就是：

如何在复杂性不可避免的前提下，让系统依然可被人类掌控。

从这个角度看，可控 AI 并不是一场革命，而是一条非常工程化、也非常克制的演进路线。