AI Agent的技术风险以及对策

AI Agent是一种智能自动化工具，可以由个AI协作完成复杂任务，是工业界最新的AI应用方式。

AI Agent存在一些技术风险，本文探讨并尝试给出解决方法

一、幻觉

AI Agent是一种智能自动化工具，一般由用户请求分析，任务执行，结果提取，流程编排等几个环节组成。几乎全部环节都有AI参与。为了提高理解和执行能力，若干环节中的AI会采用推理模型。

问题在于，目前AI最难解决的问题——幻觉，不可避免的成为AI Agent的技术风险，而推理似乎可能导致更多的幻觉，进一步加重这种技术风险。

作为AI服务最大的供应商，OpenAI近期推出的o3和o4-mini模型，幻觉问题同比加重了2～3倍。更严重的是，模型开发者并不了解这种情况的真正成因。

在AI Agent的诸多环节中，任务执行环节是个例外。任务执行在很多情况下会查询内部数据，或者搜索网页，这可以提升结果的真实性，也就有可能改善AI的幻觉率。

解决方法：
由于AI生成的内容太多，人工审核无法应对，需要采用AI审核。

参考资料：

1. https://techcrunch.com/2025/04/18/openais-new-reasoning-ai-models-hallucinate-more/