如何对AI代理进行分类并优先处理风险

人工智能正进入一个新阶段。企业一直在通过聊天等形式来尝试使用人工智能，这些工具能回答问题或总结信息。如今，趋势正转向部署能够代表用户或组织在企业系统中进行推理、规划并采取行动的AI代理。与传统自动化工具不同，AI代理能够自主完成目标。它们与系统交互、收集信息并执行任务。这种从回答问题到执行行动的转变，引入了一种根本性的新型安全挑战。

大多数企业AI代理分为三类：代理聊天机器人、本地AI代理和生产AI代理。每种方式都带来了不同的运营能力和截然不同的风险特征。

AI代理的风险由访问权限和自主性驱动

并非所有AI代理都呈现相同的风险水平。代理的真实风险取决于两个关键因素：访问权限和自主性。访问权限指代理可以交互的系统、数据和基础设施，例如应用程序、数据库、SaaS平台、云服务、API或内部工具。自主性指代理在无需人工批准的情况下独立行动的能力。

访问权限有限且处于人工监督下的代理通常风险极低。但随着访问权限的扩大和自主性的提高，风险及其潜在影响会急剧增长。一个只能读取文档的代理几乎不构成威胁。而一个可以连接业务关键型服务、修改基础设施、执行命令或跨多个系统编排工作流的代理，则代表着远为严峻的安全问题。

代理聊天机器人：企业AI的切入点

代理聊天机器人最为人熟知。这些AI助手运行在托管平台中，如生产力工具、知识系统或客户服务应用。它们通常由人工互动触发，帮助检索信息、总结文档或执行简单的集成工作。

企业越来越多地将他们用于内部支持、人力资源知识检索、销售赋能、客户服务以及更多生产力任务。从安全角度看，聊天机器人代理的风险相对较低。

它们的自主性有限，大多数操作都始于用户提示。然而，它们带来了组织常被忽视的风险。

许多聊天机器人工具依赖嵌入式API连接器或静态凭证来访问企业系统。如果这些凭证权限过于宽泛或被广泛共享，那么聊天机器人就成了通往关键资源的特权网关。同样，与这些系统相连的知识库也可能通过对话查询暴露敏感数据。

聊天机器人代理或许属于风险最低的类别，但它们仍然需要强大的身份治理和凭证管理。

本地代理：增长最快的安全漏洞

本地代理正迅速成为最普遍，也最缺乏管控的一类。本地代理直接在员工终端上运行，并与开发环境、终端或生产力工作流等工具集成。

它们通过自动执行编写代码、分析日志、查询数据库或跨多个服务编排工作流等任务，帮助用户提高效率。

本地代理的独特之处在于其身份模型。它们不采用专用系统身份运行，而是继承了运行它们的用户的权限和网络访问能力。这使得它们能够像用户一样与企业系统进行交互。

这种设计极大地加速了应用普及。员工可以立即将代理连接到GitHub、Slack、内部API和云环境等工具，而无需经过集中的身份配置流程。但这种便利性也造成了一个重大的治理问题。

安全团队通常难以了解这些代理能访问什么、与哪些系统交互，或用户赋予了多大权限。每位员工实际上都成为了自己AI自动化系统的管理者。

本地代理还可能带来供应链风险。许多软件依赖于从公共生态系统下载的第三方插件和工具。这些集成组件可能包含恶意指令，并继承用户的权限。

生产代理：完全自主的AI基础设施

生产级代理代表着最强大的一类AI系统。这些代理作为企业服务运行，使用代理框架、编排平台或自定义代码构建而成。

与聊天机器人或本地代理不同，它们可以连续运行而无需人工干预，响应系统事件，并协调多个系统的复杂工作流程。

企业正将其部署于事件响应自动化、DevOps工作流、客户支持系统以及内部业务流程中。

由于这些代理作为服务运行，它们依赖专用的机器身份和凭证来访问基础设施和SaaS平台。这种架构在企业环境内部创建了一个新的身份面。

最大的风险来自三个方面：

• 这些代理通常具有高度自主性，执行操作时无需人工审核。
• 经常处理不受信任的外部输入，如客户请求或 webhook 数据，增加了提示注入攻击的风险。
• 复杂的多智能体架构可以创建隐藏的信任链和权限提升路径，因为代理会在系统间触发其他代理。

人工智能代理带来重大身份安全挑战

在这三种类型AI代理中不难看出，AI代理是一套在企业环境中运作的新身份。它们使用身份和权限来访问数据、触发工作流、与基础设施交互并做出决策。当这些身份管理不善且访问权限被过度限制时，AI代理成为攻击者的强大入口或造成意外损害的源头。

对企业来说，重点不应仅仅是控制AI代理，而是要获得对代理的可视性和控制力，从而了解：

• 存在哪些代理
• 它们使用哪些身份
• 它们可以访问哪些系统
• 以及它们的权限是否符合其预期用途

 

 

 

参读链接：

https://www.bleepingcomputer.com/news/security/how-to-categorize-ai-agents-and-prioritize-risk/