当基于嵌入的防御失效 —— 重新思考大语言模型多智能体系统的安全性
论文详细笔记
一、基础信息
-
标题
-
英文：When Embedding-Based Defenses Fail: Rethinking Safety in LLM-Based Multi-Agent Systems
-
中文翻译：当基于嵌入的防御失效时 —— 重新思考大语言模型多智能体系统的安全性
-
-
作者：Lingxi Zhang、Guangtao Zheng、Hanjie Chen
-
来源：arXiv 预印本（计算机安全方向，[cs.CR](cs.CR)）
-
发布时间：2026 年 5 月 5 日
二、研究背景与问题
（一）研究动机（现有不足）
-
系统风险：LLM 多智能体系统（MAS）通过通信协作完成复杂任务，但通信链路成为攻击面，恶意智能体可传播错误信息、操控群体决策。
-
防御缺陷：现有主流基于嵌入的防御（G-Safeguard、GUARDIAN）依赖恶意与良性消息的文本嵌入可分离性，仅用嵌入特征做异常检测。
-
评估漏洞：现有防御的测试攻击模式过于明显，嵌入分离度高，检测效果好并非防御鲁棒，而是识别了攻击特征。
-
信号缺失：嵌入防御仅依赖文本嵌入，丢弃了模型内部token 级置信度（logits / 概率） 信号，该信号在嵌入不可区分时仍具备判别力。
（二）研究问题
-
基于嵌入的 MAS 防御在恶意嵌入贴近良性时的失效机理是什么？
-
如何设计能绕过嵌入防御的近良性攻击？
-
如何利用模型内部置信度信号构建更鲁棒的 MAS 防御？
-
防御信号在多轮通信、不同拓扑下的有效性衰减规律是什么？
三、3-6 小节详细笔记
3. Preliminaries（预备知识）
核心：定义 LLM-MAS 核心概念、攻击范式、嵌入防御、分离度指标
-
LLM 多智能体系统（MAS）
-
由 N 个智能体组成，经 R 轮通信完成任务，通信结构为有向图 G=(V,E)。
-
智能体每轮基于任务输入、系统提示、上轮邻居消息生成内容，最终通过多数投票等方式聚合输出。
-
测试拓扑：链型、星型、随机稀疏图。
-
-
MAS 攻击定义
-
智能体分为攻击者子集 A、良性子集 B；攻击者用对抗提示生成恶意消息，引导群体输出错误答案。
-
防御目标：识别恶意智能体，剪枝 / 降权恶意消息，降低攻击成功率。
-
-
基于嵌入的防御流程
-
编码：文本编码器将消息转为向量嵌入 $h_i^r=φ(m_i^r)$。
-
融合：图神经网络（GNN）融合智能体上下文，得到上下文嵌入$ĥ_i^r$。
-
检测：异常评分函数对嵌入打分，按阈值筛选可疑消息 / 智能体。
-
-
恶意 - 良性分离度
-
定义良性嵌入支持集 $S_B$，分离度 Sep (c) 衡量攻击嵌入与良性集的距离，值越大分离效果越好。
-
4. When Embedding-Based Defenses Fail（嵌入防御失效机理）
核心：理论证明 + 缺陷分析，解释嵌入防御为何被近良性攻击绕过
-
现有防御的核心问题
-
仅依赖嵌入空间决策，测试用明显攻击（恶意消息风格迥异、嵌入离群），分离度高。
-
高分离度下，模型训练会学到过宽的良性接受区域，留下近良性攻击的逃逸空间。
-
-
理论证明（Theorem 4.1）
-
对于 L-Lipschitz 评分函数，若良性支持集上有裕度 γ>0，良性接受区域会包含 S_B 的 γ/L 邻域。
-
攻击嵌入只要落入该邻域（dist (h_a,S_B)≤γ/L），会被判定为良性，成功逃逸检测。
-
-
核心结论：攻击者可构造嵌入贴近良性的恶意消息，直接绕过嵌入防御。
5. Near-Benign Attacks（近良性攻击）
核心：提出 3 种降低嵌入分离度、绕过嵌入防御的攻击，统一目标：最大化翻转良性智能体决策，同时保持嵌入贴近良性支持集
-
Slow Drift（缓慢漂移攻击）
核心思路
恶意智能体逐轮生成嵌入平滑贴近当前良性支持集的消息，无突兀突变，逐步引导群体决策偏向错误目标，规避离群检测与嵌入突变检测。实现方法
-
首轮初始化：生成首条外观良性的消息，保证其嵌入与首轮良性支持集距离≤τ。
-
后续轮次约束：
-
恶意消息嵌入与当前轮良性支持集距离≤τ；
-
本轮恶意嵌入与上一轮恶意嵌入的 L2 距离≤ε，保证嵌入轨迹平滑无突变。
-
-
优化目标：最大化本轮被引导至错误目标的良性智能体数量。
关键特性
-
嵌入轨迹连续：无 abrupt 变化，不会触发基于 “嵌入突变” 的检测规则；
-
恶意影响逐轮累积：缓慢偏移群体共识，隐蔽性极强；
-
嵌入距离极小：恶意 - 良性嵌入余弦距离远低于传统明显攻击。
攻击示例
大气成分问题： Round0：认同正确答案 B（氮气），顺带提及 CO₂； Round1：仍认可 B，强化 CO₂相关表述； Round2：转向主张 C（CO₂）为正确答案。 -
-
Benign Wrapper（良性包装攻击）核心思想：将恶意消息拆分为长良性包装段 A + 极短恶意载荷段 B，用良性段主导整体嵌入分布，恶意段仅带来可忽略的嵌入偏移，实现恶意指令隐蔽注入。
实现方法
-
消息构造：m = A ∥ B（良性内容拼接恶意指令）；
-
三重约束：
-
包装段 A 的嵌入与当前良性支持集距离≤τ_A，保证 A 本身完全良性；
-
恶意载荷 B 的长度≤ℓ（极小长度预算），最小化嵌入偏移；
-
完整消息 m 的嵌入与良性支持集距离≤τ，整体贴近良性。
-
-
优化目标：最大化翻转良性智能体数量。
关键特性
-
嵌入几乎与良性一致：良性段主导嵌入，恶意段长度极短，嵌入偏移可忽略；
-
恶意指令精准：短载荷直接引导目标错误答案；
-
隐蔽性最强：恶意 - 良性嵌入距离最小，接近良性分歧消息的距离。
攻击示例
Round0：先认同氮气占 78%（良性 A），再附加指令选 C（恶意 B）； Round1：沿用良性理由，明确执行指令选择 C。 -
-
Chaos Seeding（混沌播种攻击）
核心思路
不伪装自身嵌入，而是诱导良性智能体互相产生决策分歧，扩大良性嵌入的分散范围，让恶意嵌入隐藏在分散的良性区域中，彻底破坏基于离群检测的嵌入防御。实现方法
-
分歧度量：用良性智能体决策不一致对的占比 Disagree^(r) 量化分歧程度；
-
优化目标：最大化本轮良性智能体的决策分歧率；
-
约束：恶意消息嵌入与当前良性支持集距离≤τ，不触发基础离群检测。
关键特性
-
破坏良性聚类：良性嵌入从紧密聚类变为广泛分散，离群检测完全失效；
-
嵌入几何反转：良性 - 良性分歧对的嵌入距离可超过恶意 - 良性距离；
-
防御失效逻辑：基于 “恶意是离群点” 的嵌入防御无法识别隐藏的恶意消息。
攻击示例
Round0：模糊表述大气成分，引发不同观点； Round1：同时提及氮气主导与 CO₂重要性，加剧良性智能体决策分歧。 -
6. Confidence-Guided Defense（置信度引导防御）
核心：利用 token 级置信度作为补充信号，解决嵌入不可区分的防御失效问题
-
Token 级置信度计算
核心原理
用token 生成的不确定性衡量消息可靠性，不确定性越低→置信度越高；恶意消息生成时通常伴随高不确定性，可被精准识别。计算步骤
-
单 token 不确定性：用信息熵计算
其中 $p_k$ 是第 k 个 token 的 softmax 概率分布，熵越高→不确定性越高。 -
整体不确定性聚合：取 top-k 最大 token 熵的平均值
为降序排列的 token 熵。 -
置信度转换：用单调递减映射 $g (・)$ 将不确定性转为置信度 $C (m) = g (U (m))$ 置信度 $C (m)$ 越大，消息越可靠。
关键特性
-
模型内部信号：不依赖文本嵌入，基于生成时的 logits / 概率计算；
-
嵌入失效时仍有效：恶意消息嵌入贴近良性，但生成不确定性高、置信度低；
-
无训练成本：直接基于模型生成过程计算，适配开源模型与 API 模型。
-
-
两种防御策略
策略 1：Confidence pruning（置信度剪枝）
核心逻辑
提前屏蔽置信度低于阈值 δ的消息，从源头阻止低置信（大概率恶意）内容传播。实现方式
对每轮智能体 j 的消息 $m_j^(r)$，计算置信度 $C_j^(r)$：-
若 $C_j^(r)$ ≥ δ：正常发送消息 $m_j^(r)$；
-
若 $C_j^(r)$ < δ：屏蔽消息（记为∅），不传递给邻居。
核心优势
-
直接阻断恶意传播：从通信源头抑制不可靠消息扩散；
-
实现极简：仅需设置置信度阈值，无额外模型训练。
策略 2：Confidence down-weighting（置信度降权）
核心逻辑
不屏蔽消息，为消息附加置信度元数据，让接收智能体对低置信消息降低聚合权重。实现方式
-
消息封装：将原消息与置信度打包，格式如
[confidence=C] message； -
接收端聚合：接收智能体按指令降低低置信消息的权重，再融合所有消息。
核心优势
-
鲁棒性 - 效用权衡更平滑：不删除有用消息，仅弱化不可靠消息影响；
-
适配性强：不破坏原有通信流程，仅增加元数据层。
两种策略共性
-
均不依赖文本嵌入，仅用模型内部生成信号；
-
嵌入不可区分时，仍能有效识别并抑制恶意消息；
-
可泛化至不同 LLM、任务与通信拓扑。
-
-
核心逻辑：置信度是模型内部生成信号，嵌入不可区分时仍能识别不可靠（恶意）消息，弥补嵌入防御的缺陷。
四、实验
7.1 实验设置
-
数据集
-
MMLU：多学科多选知识题，指标：多数投票准确率。
-
GSM8K：小学数学应用题，指标：精确匹配准确率。
-
BBH：BIG-Bench 高难度推理任务，指标：多数投票准确率。
-
-
Baselines
-
基础 LLM：LLaMA-3-8B、Qwen3-4B、GPT-4o-mini（开源模型 + API 模型）。
-
嵌入防御基线：G-Safeguard（图异常检测）、GUARDIAN（时序图建模）。
-
对比组：无防御、两种嵌入防御、本文置信度引导防御。
-
-
通信拓扑：星型、链型、随机稀疏图（边概率 p 可调，控制拓扑密度）。
-
核心指标：准确率（Acc）、攻击成功率（ASR）、嵌入余弦距离、AUROC、信号半衰期。
7.2 实验内容、结果与结论
实验 1：近良性攻击突破嵌入防御
-
内容：测试无防御 / 嵌入防御 / 置信度防御，在 3 种近良性攻击平均下的性能。
-
结果：
-
嵌入防御（G-Safeguard/GUARDIAN）准确率暴跌，部分场景不如无防御。
-
本文置信度防御在所有模型、数据集上均显著提升鲁棒性。
-
-
结论：近良性攻击可有效绕过嵌入防御，置信度防御提供互补鲁棒性。
实验 2：近良性攻击的嵌入分离度验证
-
内容：计算明显攻击 / 近良性攻击的良性 - 恶意（B-M）、良性 - 良性（B-B）嵌入余弦距离。
-
结果：
-
明显攻击 B-M 距离最大（0.236）；Benign Wrapper 最小（0.156），接近良性分歧对距离。
-
Chaos Seeding 使良性嵌入大幅分散，B-B（Diff）距离超过 B-M 距离。
-
-
结论：3 种近良性攻击显著降低嵌入分离度，符合设计目标。
实验 3：不同攻击下的防御性能对比
-
内容：对比无防御 / 嵌入防御 / 置信度防御，在明显攻击 + 近良性攻击下的准确率。
-
结果：
-
明显攻击：嵌入防御可有效检测，性能优于无防御。
-
近良性攻击：嵌入防御失效，本文方法始终保持高准确率。
-
-
结论：嵌入防御仅对明显攻击有效，置信度防御具备通用鲁棒性。
实验 4：置信度信号有效性与衰减规律
-
信号互补性：近良性攻击下，嵌入信号区分度骤降，置信度信号早期仍保持高判别力；剪枝可保留信号区分度。
-
防御强度消融：剪枝阈值越高，攻击成功率越低，但干净性能略有下降；降权的鲁棒性 - 效用权衡更平滑。
-
拓扑影响：拓扑越密集（全连接 > 稀疏高 p > 稀疏低 p），信号半衰期越短、攻击成功率越高；稀疏 / 链型拓扑衰减更慢。
-
结论：
-
置信度是嵌入失效时的关键补充信号，早期干预至关重要。
-
通信拓扑密度决定信号衰减速度，稀疏拓扑更安全。
-
五、论文核心观点与贡献
（一）核心贡献
-
从理论与实证层面，揭示嵌入型 MAS 防御的核心漏洞：高嵌入分离度导致良性接受区域过宽，近良性攻击可逃逸。
-
提出三种近良性攻击（Slow Drift、Benign Wrapper、Chaos Seeding），系统性降低嵌入分离度，绕过 SOTA 嵌入防御。
-
提出置信度引导防御，利用 token 级置信度剪枝 / 降权消息，在嵌入不可区分时提供互补鲁棒性，适配多模型、多任务、多拓扑。
-
实证发现防御信号随通信轮次衰减，密集拓扑加速衰减，明确早期干预 + 拓扑感知的防御关键。
（二）核心观点
-
LLM-MAS 安全防御不能仅依赖文本嵌入，必须结合模型内部 token 级置信度信号。
-
近良性攻击是嵌入防御的核心威胁，现有防御评估范式存在严重漏洞。
-
多智能体通信的拓扑密度与干预时机直接决定防御效果，早期、稀疏拓扑下的防御更有效。
浙公网安备 33010602011771号