【论文阅读】-《Sparse and Imperceivable Adversarial Attacks》 - 实践

稀疏且难以察觉的对抗攻击

原文链接：https://arxiv.org/pdf/1909.05040v1

摘要

神经网络已被证明容易受到各种对抗攻击。从安全角度来看，高度稀疏的对抗攻击尤其危险。另一方面，稀疏攻击的逐像素扰动通常很大，因此可能被检测到。我们提出了一种新的黑盒技术来生成对抗样本，旨在最小化与原始图像的$l_0$-距离。大量实验表明，大家的攻击优于或可与现有技术相媲美。此外，我们允许集成对分量扰动的附加约束。允许像素仅在高变化区域改变并避免沿轴对齐边缘进行更改，使得我们的对抗样本几乎难以察觉。此外，我们使投影梯度下降攻击适应$l_0$-范数，并集成了分量约束。这使我们能够进行对抗训练，以增强分类器对稀疏且难以察觉的对抗操作的鲁棒性。

1 引言

最先进的神经网络并不鲁棒 [3, 30, 12]，因为正确分类的输入的非常小的对抗性变化会导致错误的决策。虽然 [30, 12] 在目标识别任务中提出了这个问题，但这个疑问本身在电子邮件垃圾邮件分类领域已经讨论了一段时间 [9, 19]。神经网络的这种非鲁棒行为在安全关键体系（例如自动驾驶或医疗诊断系统）中使用此类分类器进行决策时是一个问题。因此，意识到可能的漏洞非常重要，因为它们可能导致超出紧迫安全问题之外的致命故障 [18]。

最近的攻击研究可以分为白盒攻击 [23, 6, 5, 21, 8]（在攻击时可以访问模型）和黑盒攻击 [7, 4, 13, 2]（只能查询分类器的输出或所有类的置信度分数）。通常，攻击试图找到决策边界上或附近点，其中距离在像素空间中测量，最常用的是关于$l_{\infty }$-和 $l_2$-范数 [23, 6, 5, 8]，或者试图在某些原始图像的$ϵ$-球内最大化损失或最小化正确类的置信度 [21]。利用几何变换的非逐像素攻击已在 [14, 32] 中提出。就算有人认为对抗性变化不会在实际场景中发生，但这一论点在 [16, 11] 中被驳斥。训练期间的对抗攻击早期被提出作为一种潜在的防御手段 [30, 12]，现在称为对抗训练。以 [21] 中提出的形式，这是少数不易被攻破的防御手段之一 [5, 1]。

在本文中，我们专门处理稀疏对

图 1：左上：带缩放框的原始图像，右上：我们的$l_0$-攻击，只有非常少的像素（仅$0.04\%$）被改变，但修改后的像素清晰可见，左下：[22] 中提出的$l_0+l_{\infty }$-攻击的结果，修改是稀疏的（$2.7\%$的像素被改变），但清晰可见，右下：我们的稀疏（$2.7\%$的像素被改变）但难以察觉的攻击（$l_0+\sigma$-map）。

抗性攻击，即大家希望修改最少数量的像素以改变决策。目前有基于集成$l_0$-约束的梯度方法变体的白盒攻击 [6, 22]，或者核心是应用局部搜索或进化算法的黑盒攻击 [24, 29, 28]。本文有以下方法论贡献：1）我们提出了一种基于局部搜索的新型黑盒攻击，其性能优于所有现有的$l_0$-攻击；2）我们提出了用于投影到$l_0$-球（或 $l_0$-球与分量约束的交集）的闭式表达式或简单算法，以便将 [21] 的 PGD 攻击扩展到所考虑的场景；3）由于稀疏攻击通常清晰可见，因此至少在某些情况下易于检测（见图 1 右上图），我们将稀疏性约束（$l_0$-球）与分量约束结合起来，并扩展了上述两种$l_0$-攻击以产生稀疏且难以察觉的对抗扰动。

与引入全局分量约束的 [22] 相比（见图 1 左下图），我们建议使用局部自适应的分量约束。这些局部约束确保更改通常不可见，也就是说，我们既不会过多地改变颜色，也不会沿着坐标轴对齐的边缘（可视化见附录）或在颜色均匀的区域（见图 1 右下图）改变像素。这与 [20] 一致并显著改进，[20] 建议在高度方差的区域扰动像素以产生不易识别的修改。事实上，经常运用的$l_{\infty }$否可以降低此类攻击的成功率。我们发现，关于就是-攻击只轻微修改每个像素但必须操纵所有像素，似乎并不能模拟实际可能发生的扰动。我们认为我们的稀疏且难以察觉的攻击可能在实际中发生，并且对应于即使在很小的尺度上也不会改变图像语义的修改。我们论文的好消息是，此类攻击的成功率（标准模型为 50-70%）低于常用攻击的成功率——尽管如此，我们发现这种操纵竟然是可能的，这令人不安。因此，我们还测试了对抗训练$l_2$的对抗训练部分降低了$l_0$-攻击的有效性，而关于$l_2$ 或 $l_{\infty }$的对抗训练有助于提高对稀疏且难以察觉攻击的鲁棒性。末了，我们引入了专门针对我们的两种攻击模型的鲁棒性的对抗训练。

2 稀疏且难以察觉的对抗攻击

令 $f:{\mathbb{R}}^d⟶{\mathbb{R}}^K$为一个多类分类器，其中$d$是输入维度，$K$是类别数。测试点$x\in {\mathbb{R}}^d$ 被分类为 $c={\mathrm{argmax}}_{r=1,\dots ,K}{f}_r(x)$。$x\in {\mathbb{R}}^d$关于距离函数$\gamma :{\mathbb{R}}^d⟶{\mathbb{R}}_{+}$的最小对抗扰动$y^{\ast }$是优化问题的解$y^{\ast }\in {\mathbb{R}}^d$

$$\underset{y\in {\mathbb{R}}^d}{\min }\gamma (y-x)$$ 满足 $$\underset{r=1,\dots ,K}{\mathrm{argmax}}{f}_r(y)\ne \underset{r=1,\dots ,K}{\mathrm{argmax}}{f}_r(x),$$ (1) $$y\in C,$$

其中 $C$是有效输入需要满足的约束集合（例如，图像被缩放至$[0,1{]}^d$内）。换句话说：$y^{\ast }$ 是距离 $x$最近的点（关于距离函数$\gamma$），其分类结果与$x$ 不同。

稀疏 $l_0$-攻击

在 $l_0$-攻击中，人们感兴趣的是找到改变决策所需改变的最少像素数。我们在下文中将具有$d$个像素的灰度图像$x$ 表示为 $[0,1{]}^d$中的向量，将具有$d$个像素的彩色图像$x$ 表示为 $[0,1{]}^{d\times 3}$ 中的矩阵 $x$，$x_i$ 表示第 $i$个像素及其 RGB 三个颜色通道。相应的距离函数$\gamma$因此对于灰度图像给出为标准$l_0$-范数

$$\gamma (y-x)=\sum _{i=1}^d{1}_{\{|y_i-x_i|\ne 0\}}$$
对于彩色图像为

$$\gamma (y-x)=\sum _{i=1}^d\underset{j=1,\dots ,3}{\max }{1}_{|y_{ij}-x_{ij}|\ne 0},$$ (3)

其中内部最大化检查像素$i$的任何颜色通道$j$是否被更改。从实际的角度来看，$l_0$-攻击基本上测试了模型对于像素故障或物体上的大型局部变化（例如冰箱上的贴纸或挡风玻璃上的灰尘/污垢）的脆弱程度。

稀疏且难以察觉的攻击

$l_0$-攻击的问题在于它们改变每个像素的方式完全不受约束。因此，被扰动的像素通常具有与周围像素完全不同的颜色，因此很容易被看到。另一方面，使用距离函数的$l_{\infty }$-攻击

$$\gamma (y-x)=\underset{i=1,\dots ,d}{\max }\underset{j=1,\dots ,3}{\max }|y_{ij}-x_{ij}|,$$

已知会导致每个像素的极其小的变化，但必须修改每个像素和颜色通道。从实际角度来看，这似乎是一个相当不现实的扰动模型。一个在实际场景中更可能发生的攻击模型是当变化是

稀疏但也难以察觉时。为了完成这一点，我们提出了对允许的通道变化的附加约束。在 [22] 中，他们建议对于某个固定的$\delta >0$，采用以下形式的全局界限

$$x_{ij}-\delta \le y_{ij}\le x_{ij}+\delta ,$$

这应确保更改不可见（我们在下文中将具有$l_0$-范数和这些全局分量界限的攻击称为$l_0+l_{\infty }$-攻击）。然而，这些全局界限完全与图像无关，因此$\delta$必须非常小，以便即使在均匀颜色区域（例如天空，几乎任何变化都很容易被发现）中更改也不可见。我们建议采用考虑图像结构的图像特定局部界限。我们有两个具体目标：

1. 我们不希望沿着与坐标轴对齐的边缘进行更改，基于这些更改很容易被发现和检测到。
2. 大家不想改变颜色太多，而是只调整其强度并大致保持其饱和度水平。

为了实现这一点，我们计算每个颜色通道在$x$ 轴和 $y$轴方向上与两个紧邻像素和原始像素的标准差。我们将相应的值表示为${\sigma }_{ij}^{(x)}$ 和 ${\sigma }_{ij}^{(y)}$，并定义 ${\sigma }_{ij}=\sqrt{\min \{{\sigma }_{ij}^{(x)},{\sigma }_{ij}^{(y)}\}}$。由于 ${\sigma }_{ij}^{(x)},{\sigma }_{ij}^{(y)}\in [0,1]$，平方根会相对显著地增加较小的$\min \{{\sigma }_{ij}^{(x)},{\sigma }_{ij}^{(y)}\}$值。通过这种方式，我们既扩大了可能的对抗样本的空间，又防止了在零方差区域进行扰动。实际上，我们只允许更改后的图像$y$具有由下式给出的值

$$y_{ij}=(1+{\lambda }_i{\sigma }_{ij})x_{ij},\text{其中}-\kappa \le {\lambda }_i\le \kappa ,$$ (4)

其中 $\kappa >0$。此外，大家强制执行框约束$y\in [0,1{]}^{d\times 3}$。注意，参数${\lambda }_i$ 对应于像素 $i$的强度变化，最大为$\pm \kappa {\sum }_{j=1}^3{\sigma }_{ij}{x}_{ij}$，因为

$$\sum _{j=1}^3{y}_{ij}=\sum _{j=1}^3{x}_{ij}+{\lambda }_i\sum _{j=1}^3{\sigma }_{ij}{x}_{ij}.$$

因此，我们只是改变像素的强度而不是实际的颜色。此外，请注意，如果${\sigma }_{ij}$ 对于 $j=1,\dots ,3$是相等的，则这种变化也保持了颜色值的饱和度¹。因此我们满足了上面的第二个要求。此外，第一个要求也得到了满足，因为${\sigma }_{ij}=\sqrt{\min \{{\sigma }_{ij}^{(x)},{\sigma }_{ij}^{(y)}\}}$，这意味着如果沿着一个坐标在所有颜色通道中没有变化，则该像素根本无法修改。因此，沿着坐标对齐的边缘显示颜色没有变化的像素将不会被更改。稀疏且难以察觉攻击的攻击模型将缩写为$l_0+\sigma$-map。对于灰度图像$x\in [0,1{]}^d$，我们改用

脚注1：在 HSV 颜色空间中，颜色的饱和度定义为$1-\min \{R,G,B\}$，其中 $R,G,B$是 RGB 颜色空间中的红/绿/蓝颜色通道。

$$y_i=x_i+{\lambda }_i{\sigma }_i,\text{其中}-\kappa \le {\lambda }_i\le \kappa .$$ (5)

因为那里不需要近似保持颜色饱和度。

3 稀疏（且难以察觉）攻击的算法

在本文中，我们提出了两种生成$l_0$-、$l_0+l_{\infty }$ 和 $l_0+\sigma$-攻击的方法。第一种是基于分类器的 logits（神经网络在 softmax 层之前的输出）的随机化黑盒攻击。第二种是将 [21] 中关于正确标签损失的投影梯度下降 (PGD) 推广到大家不同的攻击模型。对于每种攻击模型，我们将推导出投影到相应集合上的算法。

基于分数的稀疏（且难以察觉）攻击

大多数现有的黑盒$l_0$-攻击要么从扰动一小组像素开始，然后扩大这个集合直到找到对抗样本 [26, 24]，要么在给定成功的对抗操控的情况下，尝试逐步减少用于改变分类的像素数量 [6, 28]。相反，我们引入了一种灵活的攻击方案，在开始时检查逐像素的目标攻击，然后根据分类器输出中产生的差距对它们进行排序。然后我们在排序列表上引入一个概率分布，并采样单像素更改以生成同时操纵多个像素的攻击。我们应用的分布偏向于那些单独应用时已经在分类器输出中产生较大变化的单像素扰动。在此种非迭代方案中，没有陷入次优点的危险。此外，虽然攻击必须测试许多点，但其非迭代性质允许以大批次检查扰动点，因此比进化攻击快得多。即使该方案容易，它的性能也优于所有现有方法，包括白盒攻击。

单像素修改第一步，我们检查原始图像$x\in [0,1{]}^{d\times 3}$（彩色）或 $x\in [0,1{]}^d$（灰度）的所有单像素修改。测试的修改取决于攻击模型。

1. $l_0$-攻击：对于每个像素$i$，我们生成 $8=2^3$个图像，将原始颜色值更改为 RGB 颜色立方体的$8$个角之一。因此我们将我们的技巧命名为

CornerSearch。这产生了一组$8d$个图像，都是原始图像$x$的单像素修改，我们将其记为$(z^{(j)}{)}_{j=1}^{8d}$。对于灰度图像，只需检查极端灰度值（黑色和白色），得到$(z^{(j)}{)}_{j=1}^{2d}$。
2. $l_0+l_{\infty }$-攻击：对于每个像素$i$，我们生成 $8$个图像，利用立方体$[-ϵ,ϵ{]}^3$ 的角来改变 $(x_{ij}{)}_{j=1}^3$的原始颜色值，再次得到$(z^{(j)}{)}_{j=1}^{8d}$个图像。对于灰度图像，我们应用$x_i\pm ϵ$，总共得到 $(z^{(j)}{)}_{j=1}^{2d}$个图像。如果需要，我们进行裁剪以满足约束$z^{(j)}\in [0,1{]}^{d\times 3}$ 或 $z^{(j)}\in [0,1{]}^d$。
3. $l_0+\sigma$-map 攻击：对于彩色图像，我们为每个像素$i$生成两个图像，通过设置$$y_{ij}=(1\pm \kappa {\sigma }_{ij})x_{ij},j=1,\dots ,3,$$ 其中 $\kappa$ 和 ${\sigma }_{ij}$如第 2 节所定义。对于灰度图像$x\in [0,1{]}^d$，我们使用 $$y_i=x_i\pm \kappa {\sigma }_i.$$最后，大家将$y_{ij}$ 和 $y_i$ 裁剪到 $[0,1]$。因此，这产生了$(z^{(j)}{)}_{j=1}^{2d}$个图像。我们称之为$\sigma$-CornerSearch。

生成所有图像后，我们获取每个图像的分类器输出$f(z^{(j)}{)}_{j=1}^M$，其中 $M$是生成的图像总数，要么$M=2d$，要么 $M=8d$。然后，对于每个类别$r\ne c$（其中 $c=\arg \underset{r=1,\dots ,K}{\max }{f}_r(x)$），我们分别将值

$$f_r(z^{(j)})-f_c(z^{(j)})$$

按递减顺序排序为${\pi }^{(r)}$。这意味着对于所有$1\le s\le M-1$

$$f_r(z^{({\pi }_s^{(r)})})-f_c(z^{({\pi }_s^{(r)})})\ge f_r(z^{({\pi }_{s+1}^{(r)})})-f_c(z^{({\pi }_{s+1}^{(r)})}).$$

大家还引入了一个顺序${\pi }^{(c)}$，按递减顺序对量

$$\underset{r\ne c}{\max }{f}_r(z^{(j)})-f_c(z^{(j)})$$

进行排序。

生成这些单像素扰动的想法是识别那些最能将决策推向特定类别$r$的像素，或者对于集合${\pi }^{(c)}$的情况，是推向非特定变化的像素。如果对于某个$r$，有 $f_r(z^{({\pi }_1^{(r)})})-f_c(z^{({\pi }_1^{(r)})})>0$，那么仅经过修改一个像素，决策就改变了。在这种情况下，算法立即停止。否则，能够尝试迭代地选择最有效的更改并重复单像素扰动。然而，这过于昂贵，并且如果在迭代方案的初始步骤中选择次优的像素修改，则会再次受到影响。因此，我们在下一段中提出一种基于所获得排序的采样方案，其中随机选择$k$个单像素修改进行组合以产生多像素攻击。

多像素修改大多数时候，修改一个像素不足以改变决策。假设我们想通过更改最多$k$个像素来生成一个针对类别$r$的目标对抗样本候选，从根据排序${\pi }^{(r)}$ 的前 $N$个单像素扰动中选择。大家借助从$\{1,\dots ,N\}$上的概率分布中采样$k$ 个索引 $(s_1,\dots ,s_k)$来搭建这一点，该分布定义为

$$P(Z=i)=\frac{2N-2i+1}{N^2},i=1,\dots ,N.$$ (6)

候选图像 $y^{(r)}$是凭借将图像$z^{({\pi }_{s_1^{(r)})}},\dots ,z^{({\pi }_{s_k^{(r)}})}$中定义的所有$k$个单像素更改应用于原始图像$x$而生成的。请注意，大家仅从上一段中找到的前$N$个单像素更改中采样，并且$\{1,\dots ,N\}$上的分布偏向于采样列表的顶部，例如$P(Z=1)=\frac{2N-1}{N^2}$ 是 P$(Z=N)=\frac{1}{N^2}$ 的 $2N-1$倍。此种偏差确保我们主要累积那些单独应用时已经导致决策向目标类别$r$发生较大变化的单像素更改。大家为所有$K$个类别生成候选图像$y^{(1)},\dots ,y^{(K)}$，其中 $K-1$个候选图像针对特定类别的更改，一个图像攻击是非目标的（对于$r=c$）。我们总共重复该过程$N_{iter}$通过次。与迭代方案相比，采样方案的一大优势是所有这些图像都能够并行批量输入到分类器中，与顺序处理相比速度显著提高。此外，它不依赖于前面的步骤，因此不会陷入某些次优区域。如实验所示，这种相对简单的采样方案性能优于复杂的进化算法（黑盒攻击）甚至白盒攻击。

由于我们想要找到与$x$差异尽可能少像素的对抗样本，我们按照上述技巧生成批次$y^{(1)},\dots ,y^{(K)}$的候选图像，逐渐增加$k$，直到达到阈值$k_{\text{max}}$，直到我们得到一个与原始类别$c$不同的分类。算法 4 总结了主要步骤。

4 用于稀疏和难以察觉攻击的 PGD

Madry 等人 [21] 的投影梯度下降 (PGD) 攻击的目的不是找到最小的对抗扰动，而是从鲁棒优化的角度论证关于最大化损失

$$\underset{z\in C(x)}{\max }L(c,f(z)),$$

其中 $L:\{1,\dots ,K\}\times {\mathbb{R}}^K\to {\mathbb{R}}_{+}$通常选择为交叉熵损失，$c$ 是点 $x$的正确标签，集合$C(x)\subset [0,1{]}^{d\times 3}$（具有 $d$个像素的彩色图像）或$C(x)\subset [0,1{]}^d$（灰度图像）。从鲁棒优化的角度

对抗训练的事实标准，大家后面在第 5 节中也会使用。通常用作允许扰动集合的是就是的解释 [21] 导致了一种现在被广泛接受的对抗训练方式，目标是获得针对一组固定扰动的鲁棒性。在训练期间使用 PGD 攻击$l_{\infty }$-球：$C(x)=\{z|\Vert z-x{\Vert }_{\infty }\le ϵ,z\in [0,1{]}^d\}$，由于投影可以解析完成。

为了将 PGD 扩展到$l_0$- 和 $l_0+l_{\infty }$-攻击，我们首先必须捕获第 2 节中我们攻击模型中允许的集合，然后找到投影到这些集合上的快速算法。一旦这一点可用，PGD 就可以用作攻击和对抗训练。在附录中，我们还展示了如何投影到$l_0$-球和由 $\sigma$-map 给出的分量约束的交集上，包括彩色和灰度图像。得益于此，我们可以引入 PGD 的$l_0+\sigma$-map 版本，称为$\sigma$-PGD，能够产生大家引入的稀疏且难以察觉的扰动。

投影到 $l_0$-球和 $l_0+l_{\infty }$-球上

给定一个原始彩色图像$x\in [0,1{]}^{d\times 3}$，我们想要将一个给定点$y\in {\mathbb{R}}^{d\times 3}$ 投影到集合

$$C(x)=\left\{z\in {\mathbb{R}}^{d\times 3}|\sum _{i=1}^d\underset{j=1,2,3}{\max }{1}_{|z_{ij}-x_{ij}|>0}\le k,l_{ij}\le z_{ij}\le u_{ij}\right\}$$

我们可以将投影到$C(x)$ 的问题写为

$$\underset{z\in {\mathbb{R}}^{d\times 3}}{\min }\sum _{i=1}^d\sum _{j=1}^3(y_{ij}-z_{ij}{)}^2$$ 满足 $$l_{ij}\le z_{ij}\le u_{ij},i=1,\dots ,d,j=1,\dots ,3$$$$\sum _{i=1}^d\underset{j=1,2,3}{\max }{1}_{|z_{ij}-x_{ij}|>0}>0\le k$$

忽略组合约束，我们首先为每个像素$i$ 解决问题

$$\underset{z_i\in {\mathbb{R}}^3}{\min }\sum _{i=1}^d\sum _{j=1}^3(y_{ij}-z_{ij}{)}^2$$ 满足 $$l_{ij}\le z_{ij}\le u_{ij},i=1,\dots ,d,j=1,\dots ,3$$

解由 $z_{ij}^{\ast }=\max \{l_{ij},\min \{y_{ij},u_{ij}\}\}$给出。我们注意到每个像素可以独立于其他像素进行优化。因此，我们按递减顺序$\pi$ 对每个像素 $i$ 实现的收益

$${\varphi }_i:=\sum _{j=1}^3(y_{ij}-x_{ij}{)}^2-\sum _{j=1}^3(y_{ij}-z_{ij}^{\ast }{)}^2.$$

进行排序。因此，最终解在具有最大收益的$k$个像素（或者假如具有正${\varphi }_i$ 的像素少于 $k$个，则更少）上与$x$不同，并由下式给出

$$z_{\pi ,j}=\{\begin{array}{ll}{z}_{\pi ,j}^{\ast }& \text{对于}i=1,\dots ,k,j=1,\dots ,3,\\ x_{\pi ,j}& \text{其他}.\end{array}.$$

使用 $l_{ij}=0$ 和 $u_{ij}=1$，我们恢复了到$l_0$-球和 $[0,1{]}^{d\times 3}$交集的投影。对于$l_0+l_{\infty }$，注意两个约束

$$0\le z_{ij}\le 1,-ϵ\le z_{ij}-x_{ij}\le ϵ,$$

等价于：

$$\max \{0,-ϵ+x_{ij}\}\le z_{ij}\le \min \{1,x_{ij}+ϵ\}.$$

因此，通过采用

$$l_{ij}=\max \{0,-ϵ+x_{ij}\},u_{ij}=\min \{1,x_{ij}+ϵ\},$$

集合 $C(x)$ 等于半径为 $k$ 的 $l_0$-球、半径为$ϵ$ 的 $l_{\infty }$-球（围绕 $x$）和 $[0,1{]}^{d\times 3}$ 的交集。

5 实验

在实验部分，大家评估了我们基于分数的$l_0$-攻击 CornerSearch 和我们白盒攻击 PGD({}_{0}$ 的有效性。此外，我们给出了我们稀疏且难以察觉的$l_0+\sigma$-map 攻击$\sigma$-CornerSearch 和$\sigma$-PGD（后者在附录中）的说明性示例。最后，我们测试了关于各种范数的对抗训练作为对我们$l_0$- 和 $l_0+\sigma$-map-攻击的防御。代码可在 https://github.com/fra31/sparse-imperceivable-attacks 获取。

$l_0$-攻击的评估

大家将 CornerSearch 与最先进的稀疏对抗扰动攻击进行比较：LocSearchAdv [24]、Pointwise Attack (PA) [28]、Carlini-Wagner$l_0$一种就是-attack (CW) [6]、SparseFool (SF) [22]、JSMA [26]。前两种在黑盒场景下操作，仅利用分类器输出，就像大家的技巧一样，而后三种必须访问网络本身（白盒攻击）。注意 SparseFool 实际上$l_1$-攻击，这意味着它在 (1) 中采用$l_1$-范数作为距离度量，以避免使用$l_0$-范数产生的组合问题。然而，SparseFool 允许产生稀疏攻击，并且在 [22] 中呈现在稀疏性方面优于$l_0$-攻击。我们使用 [27] 中 Pointwise Attack 的建立，进行 10 次重启，如 [28] 中所做，CW 和 JSMA 来自 [25]，同时我们重新实现了 SparseFool。由于 [24] 中利用的代码和模型都不可用（LocSearchAdv 的结果取自 [24]），我们决定在 [24] 报告的一种架构上比较不同攻击的性能，即在 MNIST 和 CIFAR-10 上重新训练的带批量归一化的 Network in Network [17]。

我们在相应测试集的前 1000 个点上运行攻击。我们利用 CornerSearch，参数为$k_{\text{max}}=50$，$N=100$ 和 $N_{\text{iter}}=1000$ MNIST 上的均值，但即使如此 CornerSearch 也具有更高的成功率和更低的中位数就是。在表 1 中，我们报告了每种方法的_成功率_，即可以成功攻击的正确分类点的比例，以及每次攻击要求修改以改变决策的像素的_均值_和_中位数_。请记住，MNIST 由 784 个像素的图像组成，CIFAR-10 由 1024 个像素组成。尽管 CornerSearch 并未为每个测试点找到对抗样本（因为我们固定了可以修改的最大像素数），但更改像素的平均数和中位数都低于其他途径，也就是说，我们的方法要求扰动的像素更少才能改变决策（唯一的例外

表 1：不同$l_0$-攻击的比较。虽然 SparseFool 总是成功的，但它要求显著更多的像素被更改。大家的方式 CornerSearch 在所有攻击中需要更改的_中位数_像素量最少。

表 2：在 Restricted ImageNet 上的$l_0$-攻击。大家使用 SparseFool [22] 和我们的算法 CornerSearch 攻击验证集中 100 个点中正确分类的 89 个点。由于允许的像素更改数量限制，CornerSearch 并非总是成功，但需要更改的像素少得多。

图 2：PGD({}_{0}$ 的评估。我们为 1000 个测试点计算了当攻击被允许扰动最多$k$最好的“廉价”攻击，甚至在 MNIST 上对于就是个像素时分类器的鲁棒准确率。大家可以看到 PGD({}_{0}$（红点）优于 SparseFool，因此$k\ge 4$ 是最好的。

比 PA）。在 MNIST 上，CornerSearch 对于至少$50\%$的所有测试图像需要更改$0.89\%$的像素，而在 CIFAR-10 上甚至只有$0.2\%$。

利用第 4 节中关于投影到$l_0$-球和 $l_0+l_{\infty }$-球上的推导，大家引入了著名 PGD 攻击的$l_0$ 版本，即 ${\text{PGD}}_0$，给定一个分配给类别就是。迭代方案（重复固定次数）$c$ 的输入 $x$，

$$\begin{array}{rl}{z}^{(i)}& =x^{(i-1)}+\eta \cdot \nabla L(c.f(x^{(i-1)})/\Vert \nabla L(c.f(x^{(i-1)}){\Vert }_1\\ x^{(i)}& =P_k(z^{(i)}),\end{array}$$ (7)

其中 $\eta \in {\mathbb{R}}_{+}$，$x^{(0)}=x$，$P_k(z)$表示投影到半径为$k$ 的 $l_0$-球上，以及由框约束$x\in [0,1{]}^d$ 定义的 $l_{\infty }$-球。注意 ${\text{PGD}}_0$ 需要指定 $k$，因此不像 (1) 那样旨在进行最小修改来改变决策。为了评估鲁棒准确率，即当攻击者的目标是使用$k$-像素修改改变所有正确分类图像的决策时分类器的准确率，需要为每个$k$ 值分别评估 ${\text{PGD}}_0$，而所有其他攻击在一次运行中产生所有稀疏度级别的鲁棒准确率。

为了比较，我们在表 1 的网络（更多细节见附录）上采用 20 次迭代和 10 次随机重启运行${\text{PGD}}_0$，使用 10 个稀疏值$k$。在图 2 中，我们展示了不同攻击的鲁棒准确率。${\text{PGD}}_0$在 MNIST 上对于$k\ge 4$取得了最佳结果，优于 SparseFool，甚至在 CIFAR-10 上接近 CornerSearch。由于${\text{PGD}}_0$非常快，它是我们更昂贵的基于分数攻击的一个有价值的替代方案。

我们进一步在 Restricted ImageNet 上测试 CornerSearch，这是 ImageNet [10] 的一个子集，其中一些类别被分组形成 9 个不同的宏类。我们使用 [31] 中的 ResNet-50，并将我们的攻击与 SparseFool [22] 进行比较（我们不运行其他手段，因为要么没有可用的代码，要么它们无法扩展到图像的大小）。图像有 50176 个像素。

在表 2 中，我们报告了在 100 个点上 SparseFool 和我们的攻击（参数为$k_{\text{max}}=1000,N_{\text{iter}}=1000$黑盒攻击。与就是）的统计数据。与其他数据集一样，SparseFool 总是找到对抗样本，而最小的_均值_和_中位数_对抗修改是由 CornerSearch 完成的，尽管成功率较低。SparseFool 的运行时间比 CornerSearch 快约 55 倍。大家的攻击的运行时间直接与像素数和网络的前向传递时间成正比，在这种情况下两者都很大。但是，请注意 SparseFool 是白盒攻击，而我们的的${\text{PGD}}_0$比较，给定 100 个像素的预算，SF 的成功率为 49.4%，CS 为 64.0%，${\text{PGD}}_0$为 39.3%。

稀疏且难以察觉的操纵

我们说明了由$l_0$-、$l_0+l_{\infty }$- 和 $l_0+\sigma$-map 攻击找到的对抗修改之间的差异。在图 3 和图 4 中，大家展示了一些例子。如前所述，仅关于$l_0$最稀疏的，但也最容易识别。就是-范数产生的对抗修改$l_0+l_{\infty }$-攻击提供的图像，尽管个体修改的绝对值是有界的（这里我们对 CIFAR-10 采用$\delta =0.1$，对 ImageNet 使用$\delta =0.05$可见的，基于要么颜色与邻居不均匀（图 3 左侧和第二行以及图 4 右侧的第二行），要么在均匀背景中引入了修改（图 3 右侧的第二行和图 4 左侧的第二行）。另一方面，就是），但一些扰动$\sigma$-CornerSearch 的对抗修改难以察觉，同时仍然非常稀疏（图 3 和图 4 的第三行），表明$\sigma$-map（在图中也表明，重新缩放使得最大分量等于 1）能够正确识别难以察觉变化的区域（特别是参见放大的图像）。

我们在附录中提供了由$\sigma$-CornerSearch 和$\sigma$-PGD 制作的对抗样本的比较。

对抗训练

为了增加模型对稀疏对抗操纵的鲁棒性，我们将对抗训练适应于我们的情况。我们使用上面介绍的${\text{PGD}}_0$进行对抗训练，以实现针对$l_0$-攻击的鲁棒性（$l_0$-at），同时我们使用$\sigma$-PGD 来增强针对

表 3：对抗训练的评估。 由 $l_0$- 和 $l_0+\sigma$-攻击（最多更改$k$个像素，对于$l_0+\sigma$-攻击，固定 MNIST 的$\kappa =0.8$和 CIFAR-10 的$\kappa =0.4$）在针对不同度量进行对抗训练的模型上给出的鲁棒准确率（%）。

稀疏且难以察觉攻击的鲁棒性（$l_0+\sigma$-at）。运用这两种科技，我们在 MNIST 和 CIFAR-10 上训练模型（关于架构和超参数的更多细节在附录中）。我们将它们与在_普通_训练集上训练的模型以及关于$l_{\infty }$- 和 $l_2$-范数进行对抗训练的模型（$l_{\infty }$-at 和 $l_2$-at）进行比较。在表 3 中，我们报告了在 500 个点上的鲁棒准确率（我们固定要修改的最大像素数为$k$，并且 (4) 和 (5) 中定义的$l_0+\sigma$攻击的参数对于 MNIST 固定为$\kappa =0.8$，对于 CIFAR-10 固定为$\kappa =0.4$）。

在 MNIST 上，针对$l_2$ 和 $l_0$扰动训练的模型对$l_0$-攻击最具鲁棒性，而在 CIFAR-10 上，$l_0$-at模型的抵抗力是所有其他模型的三倍多。与 [22] 类似，我们发现$l_{\infty }$-at 对 $l_0$最适合评估鲁棒性的方法。就是-鲁棒性没有帮助。值得注意的是，在两个材料集上，我们的攻击 PGD({}_{0}$ 和 CornerSearch (CS) 取得了最好的结果，因此

关于 $l_0+\sigma$-map 攻击，大家看到$l_0+\sigma$-at模型最不容易受到攻击，但$l_{\infty }$-at 和 $l_2$-at也显示出一定的鲁棒性。注意$\sigma$-PGD 比$\sigma$-CornerSearch 更成功，但产生的扰动稀疏性较低，因为它始终充分利用要修改的$k$个像素的预算，而$\sigma$-CS 大多只使用其中的几个，使得修改更难以被发现（见附录）。

图 3：在 CIFAR-10 上的不同攻击。我们说明了由 CornerSearch ($l_0$)、$l_0+l_{\infty }$-攻击 和 $\sigma$-CornerSearch 找到的对抗样本（第二列）的差异，分别是第一、第二和第三行。第三列表现了重新缩放到$[0,1]$通过的对抗扰动，第四列是修改像素的映射（_稀疏性_列）。原始图像能够在左上角找到，$\sigma$-map 的 RGB 表示在左下角。

图 4：在 Restricted ImageNet 上的不同攻击。大家说明了由 CornerSearch ($l_0$)、$l_0+l_{\infty }$-攻击 和 $\sigma$-CornerSearch 找到的对抗样本（第二列，第三列放大）的差异，分别是第一、第二和第三行。第四列显现了修改像素的映射（_稀疏性_列）。原始图像在左上角，重新缩放的$\sigma$-map 的 RGB 表示在左下角。

致谢

由德国研究基金会 (DFG) 卓越集群 Machine Learning: New Perspectives for Science, EXC 2064/1, 项目编号 390727645 资助，并作为 TRR 248 的一部分由 DFG 资助 389792660 资助。

参考文献

• [1] Anish Athalye, Nicholas Carlini, and David Wagner. Obfuscated gradients give a false sense of security: Circumventing defenses to adversarial examples.arXiv preprint arXiv:1802.00420, 2018.
• [2] Arjun Nitin Bhagoji, Warren He, Bo Li, and Dawn Xiaodong Song. Practical black-box attacks on deep neural networks using efficient query mechanisms. InECCV, 2018.
• [3] Battista Biggio, Igino Corona, Davide Maiorca, Blaine Nelson, Nedim Srndic, Pavel Laskov, Giorgio Giacinto, and Fabio Roli. Evasion attacks against machine learning at test time. InECML PKDD, 2013.
• [4] Wieland Brendel, Jonas Rauber, and Matthias Bethge. Decision-based adversarial attacks: Reliable attacks against black-box machine learning models. InICLR, 2018.
• [5] Nicholas Carlini and David A. Wagner. Adversarial examples are not easily detected: Bypassing ten detection methods. InACM Workshop on Artificial Intelligence and Security, 2017.
• [6] Nicholas Carlini and David A. Wagner. Towards evaluating the robustness of neural networks. InIEEE Symposium on Security and Privacy, 2017.
• [7] Pin-Yu Chen, Huan Zhang, Yash Sharma, Jinfeng Yi, and Cho-Jui Hsieh. Zoo: Zeroth order optimization based black-box attacks to deep neural networks without training substitute models. In10th ACM Workshop on Artificial Intelligence and Security (AISEC), 2017.
• [8] Francesco Croce and Matthias Hein. A randomized gradient-free attack on ReLU networks. InGCPR, 2018.
• [9] Nilesh N. Dalvi, Pedro M. Domingos, Mausam, Sumit K. Sanghai, and Deepak Verma. Adversarial classification. InKDD, 2004.
• [10] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kehui Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. InCVPR, 2009.
• [11] Ivan Evtimov, Kevin Eykholt, Earlence Fernandes, Tadayoshi Kohno, Bo Li, Atul Prakash, Amir Rahmati, and Dawn Song. Robust physical-world attacks on deep learning visual classification. InCVPR, 2018.
• [12] Ian J. Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. InICLR, 2015.
• [13] Andrew Ilyas, Logan Engstrom, Anish Athalye, and Jessy Lin. Black-box adversarial attacks with limited queries and information. InICML, 2018.
• [14] Can Kanbak, Seyed-Mohsen Moosavi-Dezfooli, and Pascal Frossard. Geometric robustness of deep networks: analysis and improvement. InCVPR, 2018.
• [15] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. preprint, arXiv:1412.6980, 2014.
• [16] Alexey Kurakin, Ian J. Goodfellow, and Samy Bengio. Adversarial examples in the physical world. InICLR Workshop, 2017.
• [17] Min Lin, Qiang Chen, and Shuicheng Yan. Network in network. InICLR, 2014.
• [18] Y. Liu, X. Chen, C. Liu, and D. Song. Delving into transferable adversarial examples and black-box attacks. InICLR, 2017.
• [19] Daniel Lowd and Christopher Meek. Adversarial learning. InKDD, 2005.
• [20] Bo Luo, Yannan Liu, Lingxiao Wei, and Qiang Xu. Towards imperceptible and robust adversarial example attacks against neural networks. InAAAI, 2018.
• [21] Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, and Adrian Vladu. Towards deep learning models resistant to adversarial attacks. InICLR, 2018.
• [22] Apostolos Modas, Seyed-Mohsen Moosavi-Dezfooli, and Pascal Frossard. Sparsefool: a few pixels make a big difference. InCVPR, 2019.
• [23] Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, and Pascal Frossard. Deepfool: a simple and accurate method to fool deep neural networks. InCVPR, pages 2574–2582, 2016.
• [24] Nina Narodytska and Shiva Prasad Kasiviswanathan. Simple black-box adversarial perturbations for deep networks. InCVPR 2017 Workshops, 2016.
• [25] Nicolas Papernot, Fartash Faghri, Nicholas Carlini, Ian Goodfellow, Reuben Feinman, Alexey Kurakin, Cihang Xie, Yash Sharma, Tom Brown, Aurko Roy, Alexander Matyasko, Vahid Behzadan, Karen Hambardzumyan, Zhishuai Zhang, Yi-Lin Juang, Zhi Li, Ryan Sheatsley, Abhibhav Garg, Jonathan Uesato, Willi Gierke, Yinpeng Dong, David Berthelot, Paul Hendricks, Jonas Rauber, and Rujun Long. cleverhans v2.0.0: an adversarial machine learning library. preprint, arXiv:1610.00768, 2017.
• [26] N. Papernot, P. D. McDaniel, S. Jha, M. Fredrikson, Z. B. Celik, and A. Swami. The limitations of deep learning in adversarial settings. In1st IEEE European Symposium on Security & Privacy, 2016.
• [27] Jonas Rauber, Wieland Brendel, and Matthias Bethge. Foolbox: A python toolbox to benchmark the robustness of machine learning models. InICML Reliable Machine Learning in the Wild Workshop, 2017.
• [28] Lukas Schott, Jonas Rauber, Wieland Brendel, and Matthias Bethge. Towards the first adversarially robust neural network model on MNIST. InICLR, 2019.
• [29] Jiawei Su, Danilo Vasconcellos Vargas, and Kouichi Sakurai. One pixel attack for fooling deep neural networks.arXiv preprint arXiv:1710.08864v5, 2019.
• [30] C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. Goodfellow, and R. Fergus. Intriguing properties of neural networks. InICLR, pages 2503–2511, 2014.
• [31] Dimitris Tsipras, Shibani Santurkar, Logan Engstrom, Alexander Turner, and Aleksander Madry. Robustness may be at odds with accuracy. InICLR, 2019.

• [32] Chaowei Xiao, Jun-Yan Zhu, Bo Li, Warren He, Mingyan Liu, and Dawn Song. Spatially transformed adversarial examples. InICLR, 2018.

附录 A 投影到$l_0$-球和 $\sigma$-map 约束的交集上

我们在这里介绍用于$\sigma$-PGD 攻击的投影步骤，其中我们允许最多$k$个像素上的扰动并尊重 (4) 和 (5) 中定义的$\sigma$-map 约束。

彩色图像

给定一个彩色图像$x\in [0,1{]}^{d\times 3}$，我们想要将一个给定点$y\in {\mathbb{R}}^{d\times 3}$ 投影到集合

$$C(x)=\left\{z\in {\mathbb{R}}^{d\times 3}|\begin{array}{l}\sum _{i=1}^d\underset{j=1,2,3}{\max }{1}_{\{|z_{ij}-x_{ij}|>0\}}\le k,\\ (1-\kappa {\sigma }_{ij})x_{ij}\le z_{ij}\le (1+\kappa {\sigma }_{ij})x_{ij},\\ 0\le z_{ij}\le 1\text{for all}i,j\end{array}\right\}$$

其中 $d$ 是像素数，${\sigma }_{ij}$是第 2 节中定义的逐像素、通道特定的界限，$\kappa >0$是给定参数。大家行将投影问题写为

$$\underset{\lambda \in {\mathbb{R}}^d}{\min }\sum _{i=1}^d\sum _{j=1}^3(y_{ij}-(1+{\lambda }_i{\sigma }_{ij})x_{ij}{)}^2$$ 满足 $$-\kappa \le {\lambda }_i\le \kappa ,i=1,\dots ,d$$
$$0\le (1+{\lambda }_i{\sigma }_{ij})x_{ij}\le 1,i=1,\dots ,d,j=1,\dots ,3$$
$$\sum _{i=1}^d{1}_{|{\lambda }_i|>0}\le k$$

忽略组合约束，我们首先为每个像素解决问题

$$\underset{{\lambda }_i\in \mathbb{R}}{\min }\sum _{j=1}^3(y_{ij}-(1+{\lambda }_i{\sigma }_{ij})x_{ij}{)}^2$$ 满足 $$-\kappa \le {\lambda }_i\le \kappa$$$$0\le (1+{\lambda }_i{\sigma }_{ij})x_{ij}\le 1,j=1,\dots ,3$$

我们首先注意到，假设$x_{ij}=0$ 或 ${\sigma }_{ij}=0$通过，最后一个约束总是满足。在其他情况下，我们能够将约束重写为

$$-\frac{1}{{\sigma }_{ij}}\le {\lambda }_i\le \frac{1}{{\sigma }_{ij}}(\frac{1}{x_{ij}}-1),j=1,\dots ,3.$$

结合所有约束得到

$${\lambda }_i^{(l)}:=\max \left\{-\kappa ,\underset{x_{ij}\ne 0,{\sigma }_{ij}\ne 0}{\max }\left(-\frac{1}{{\sigma }_{ij}}\right)\right\}\le {\lambda }_i\le \min \left\{\kappa ,\underset{x_{ij}\ne 0,{\sigma }_{ij}\ne 0}{\min }\frac{1}{{\sigma }_{ij}}\left(\frac{1}{x_{ij}}-1\right)\right\}:={\lambda }_i^{(u)}.$$

无约束解由下式给出

$${\lambda }_i^{\star }=\frac{{\sum }_{j=1}^3{\sigma }_{ij}{x}_{ij}(y_{ij}-x_{ij})}{{\sum }_{j=1}^3{\sigma }_{ij}^2{x}_{ij}^2}.$$

因此，每个像素$i$的最优解由下式给出

$${\lambda }_i^{\star }=\max \{{\lambda }_i^{(l)},\min \{{\lambda }_i^{\prime },{\lambda }_i^{(u)}\}\}.$$

原始问题的最终解只允许选择$k$个像素进行更改。对于每个像素$i$，量

$${\varphi }_i:=\sum _{j=1}^3(y_{ij}-x_{ij}{)}^2-\sum _{j=1}^3(y_{ij}-(1+{\lambda }_i^{\star }{\sigma }_{ij})x_{ij}{)}^2$$

表示在 ${\lambda }_i=0$（即 $y_i$ 被投影到 $x_i$）和 ${\lambda }_i={\lambda }_i^{\star }$两种情况之间目标函数增加量的差异。由于我们想要最小化目标函数，最优解是凭借将$({\varphi }_i{)}_{i=1}^d$ 按递减顺序 $\pi$ 排序并设置

$${\lambda }_{{\pi }_i}^{(final)}=\{\begin{array}{ll}{\lambda }_{{\pi }_i}^{\star }& \text{如果}i=1,\dots ,k,\\ 0& \text{其他}.\end{array}.$$

最后，$y$被投影到的属于$C(x)$ 的点是 $z\in {\mathbb{R}}^{d\times 3}$，其分量定义为

$$z_{ij}=(1+{\lambda }_i^{(final)}{\sigma }_{ij})x_{ij},i=1,\dots ,d,j=1,\dots ,3.$$

灰度图像

由于灰度图像只有一个颜色通道，并且为了获得难以察觉的操纵，大家使用 (5) 中定义的加法修改，我们投影到集合上，给定原始图像$x$，

$$C(x)=\left\{z\in {\mathbb{R}}^d\mid \sum _{i=1}^d{1}_{|z_i-x_i|>0}\le k,x_i-\kappa {\sigma }_i\le z_i\le x_i+\kappa {\sigma }_i,0\le z_i\le 1\right\}.$$

定义

$$l_i:=\max \{x_i-\kappa {\sigma }_i,0\},u_i:=\min \{x_i+\kappa {\sigma }_i,1\},$$

大家许可看出，在这种情况下，障碍等价于投影到$l_0$-球和框约束的交集上，然后按照第 4.1 节所述进行求解。

受攻击模型的测试准确率

表 4：受攻击模型的准确率。我们在这里报告第 5 节介绍的模型在测试集（对于 Restricted ImageNet 是验证集）上的准确率。

附录 B 实验

我们在这里报告第 5 节中关于攻击、受攻击模型和参数的详细信息。论文中介绍的每个模型在测试集（对于 Restricted ImageNet 是验证集）上的准确率在表 4 中报告。

$l_0$-攻击的评估

本实验使用的架构是 [17] 中的 Network in Network，我们根据 https://github.com/BIGBALLON/cifar-10-cnn 上可用的代码进行训练，并将其适应于 MNIST（具有不同的输入维度）的情况。

我们运行 PGD({}_{0}$，利用十个阈值$k$（即能够修改的最大像素数），对于 MNIST，$k\in \{2,3,4,5,6,8,10,12,15,20\}$，对于 CIFAR-10，$k\in \{1,2,3,4,6,8,10,12,15,20\}$。

运行时间我们报告第 5.1 节实验中一张图像的平均运行时间（SparseFool 的时间来自我们的重新完成，它使用 [27] 中实现的 DeepFool）。MNIST：LocSearchAdv 0.6s（来自 [25]），PA 21s，CW 300s，SparseFool 2.5s，CornerSearch 9.8s，PGD({}{0}$ 0.06s（一个阈值）。CIFAR-10：LocSearchAdv 0.7s [25]，PA 22s，CW 283s，SparseFool 1.0s，CornerSearch 3.6s，PGD({}{0}$ 0.19s（一个阈值）。ImageNet：SparseFool 17s，CornerSearch 953s，PGD({}_{0}$ 13s（一个阈值）。

CornerSearch 的稳定性由于算法 1 涉及随机采样组件，大家想在这里分析 CornerSearch 的性能如何依赖于它。接着，我们在表 1 使用的模型上运行 CornerSearch 10 次，得到以下统计数据：MNIST，成功率 (%)$97.37\pm 0.13$，均值 $9.12\pm 0.05$，中位数 $7\pm 0$。CIFAR-10，成功率 (%)$99.33\pm 0.12$，均值 $2.71\pm 0.02$，中位数 $2\pm 0$。这意味着我们的攻击在不同运行之间是稳定的。

稀疏且难以察觉的操纵

通过在图 5 中，大家展示了一个例子，说明即使颜色与某些相邻像素相似，沿轴对齐边缘的更改也是明显且易于检测的。这为我们用于决定图像在何处能够以不可见方式扰动的启发式方法提供了进一步的正当理由。

在图 6、7 和 8 中，我们说明了$l_0+\sigma$-map 攻击如何产生稀疏且难以察觉的对抗扰动，而$l_0$- 和 $l_0+l_{\infty }$通过-攻击要么引入与邻居颜色不均匀的颜色，要么修改均匀背景中的像素，这使得它们很容易被看到。更多示例能够在 https://github.com/fra31/sparse-imperceivable-attacks 找到。

MNIST在图 6 中，我们展示了我们的攻击 CornerSearch ($l_0$-攻击)、$l_0+l_{\infty }$-攻击 和 $\sigma$-CornerSearch 找到的对抗样本之间的差异。我们看到我们的$l_0+\sigma$-map 攻击不会修改背景中、远离数字或数字内部均匀颜色区域中的像素。

受攻击的模型是第 5.3 节中的_普通_模型（关于架构的更多细节见下文）。对于$l_0+l_{\infty }$-攻击，大家使用扰动的$l_{\infty }$-范数界限 $\delta =0.2$。

CIFAR-10我们在图 7 中展示了更多按照第 5 节图 3 方式构建的示例。受攻击的模型是第 5.3 节中的_普通_分类器（关于架构的更多细节见下文）。对于$l_0+l_{\infty }$-攻击，大家利用扰动的$l_{\infty }$-范数界限 $\delta =0.1$。

图 5：左：原始图像。右：$l_0$-对抗样本，沿轴对齐边缘的更改清晰可见。

Restricted ImageNet我们在图 8 中展示了更多按照第 5 节图 4 方式创建的示例。受攻击的模型是 [31] 中的 ResNet-50（权重和代码均可在 https://github.com/MadryLab/robust-features-code 获取），已在第 5.1 节中介绍。对于$l_0+l_{\infty }$-攻击，我们使用$\delta =0.05$ 作为扰动的 $l_{\infty }$-范数界限。

对抗训练

MNIST运用的架构与 [21] 中的相同（可在 https://github.com/MadryLab/mnist_challenge 获取），包括 2 个卷积层，每个后面跟着一个最大池化操作，以及 2 个密集层。大家使用 Adam [15] 训练我们的分类器 100 个周期。

普通 和 $l_{\infty }$-at模型是 [21] 在 https://github.com/MadryLab/mnist_challenge 献出的，而我们使用普通梯度作为 PGD 更新的方向来训练$l_2$-at，与用于关于$l_{\infty }$-范数的对抗训练的梯度符号相反。

对于关于 $l_0$-范数的对抗训练，我们使用$k=20$（要更改的最大像素数），40 次迭代，步长$\eta =30000/255$。对于 $l_0+\sigma$-at，我们设置 $k=100$，$\kappa =0.9$（对于 $\sigma$-map 给出的界限），40 次梯度下降迭代，步长$\eta =30000/255$。

CIFAR-10我们使用一个具有 8 个卷积层的 CNN，分别包含 96, 96, 192, 192, 192, 192, 192 和 384 个特征图，以及 2 个密集层，分别为 1200 和 10 个单元。除最后一层外，在每个层的输出上应用 ReLU 激活函数。我们应用信息增强（特别是应用随机裁剪和随机镜像）进行 100 个周期的训练，并使用 Adam 优化器 [15]。

对于关于 $l_0$-范数的对抗训练，我们使用$k=20$（要更改的像素数），10 次 PGD 迭代，步长$\eta =30000/255$。对于 $l_0+\sigma$-at，我们使用 $k=120$，$\kappa =0.6$，10 次 PGD 迭代，步长$\eta =30000/255$。

附录 C $\sigma$-PGD 的对抗样本

大家想在这里比较我们的两种方法$\sigma$-CornerSearch 和$\sigma$-PGD 生成的对抗样本。在图 9 和 10 中（另见 https://github.com/fra31/sparse-imperceivable-attacks），我们展示了两种攻击产生的扰动图像，以及原始图像和重新缩放的修改（使得每个分量在 [0,1] 内且最大分量等于 1）。此外，对于$\sigma$-PGD，我们报告了使用较小$\kappa$获得的结果。灰色图像表示不成功的情况。

很明显，$\sigma$-CornerSearch 产生更稀疏的扰动。此外，使用与$\sigma$-CS 相同$\kappa$ 的 $\sigma$-PGD 会产生更明显的操纵。我们认为这有两个原因：首先，$\sigma$-PGD 总是应用要修改的$k$个像素的整个预算，而$\sigma$-CS 不会这样；其次，$\sigma$-PGD 旨在允许扰动空间内最大化损失。这可能是通过修改相邻像素（有时颜色略有不同）以相反方向（即对于不同的$i$，${\lambda }_i$符号不同）来实现的。相反，$\sigma$-CornerSearch 不考虑像素之间的空间关系，因此不会表现出这种行为。然而，如图所示，借助减小$\kappa$ 也可以恢复 $\sigma$成功率较低。就是-PGD 的不太明显的变化，但代价

附录 D 稀疏扰动的传播

为了可视化非常稀疏的扰动对分类器所做决策的影响，我们能够检查当对抗样本作为网络输入而不是原始图像时，每个隐藏层的输出如何被修改。我们在这里考虑第 5 节中不同对抗训练方案比较中使用的 CIFAR-10 上的_普通_模型以及 CornerSearch 在其上生成的对抗样本。

我们首先使用原始图像作为输入执行前向传递，继而使用对抗性操纵的图像执行前向传递。在图 11 中（更多示例在 https://github.com/fra31/sparse-imperceivable-attacks），我们绘制了（每种颜色代表测试集中的一张图像）两次前向传递获得的网络每个单元在激活函数后的输出值之间的差异。垂直线段分隔各层，最左边的部分显示输入的差异。水平线表示两次前向传递之间值没有差异。我们能够看到，随着网络深入（在图 11 中向右），修改的稀疏性降低（输入的被扰动分量平均为 0.21%，最后一个隐藏层的为 19.45%），而它们的幅度变得更大，因此即使只改变一个像素（即原始图像的三个条目）也会导致错误分类。

图 6：在 MNIST 上的不同攻击。我们说明了由 CornerSearch ($l_0$)、$l_0+l_{\infty }$- 和 $\sigma$-CornerSearch 找到的对抗样本（第二列）的差异，分别是第一、第二和第三行。第三列表明了红框突出显示区域的缩放，而第四列包含修改像素的映射（_稀疏性_列）。原始图像在左上角，$\sigma$-map 的可视化（重新缩放使得${\max }_i{\sigma }_i=1$）在左下角。

图7：CIFAR-10上的不同攻击。我们分别展示了第一、二、三行中由CornerSearch（$l_0$）、$l_0+l_{\infty }$-攻击和$\sigma$-CornerSearch找到的对抗样本（第二列）的差异。第三列显示了缩放到[0,1]的对抗扰动，第四列是被修改像素的映射（稀疏度列）。原始图像位于左上角，底部左侧是缩放到${\max }_{i,j}{\sigma }_{ij}=1$的$\sigma$-映射的RGB表示。

图 8：在 Restricted ImageNet 上的不同攻击。我们说明了由 CornerSearch ($l_0$)、$l_0+l_{\infty }$-攻击 和 $\sigma$第一、第二和第三行。第四列显示了修改像素的映射（_稀疏性_列）。原始图像在左上角，重新缩放的就是-CornerSearch 找到的对抗样本（第二列，第三列放大）的差异，分别$\sigma$-map 的 RGB 表示（重新缩放使得${\max }_{i,j}{\sigma }_{ij}=1$）在左下角。

图 9：在 MNIST 上比较$\sigma$-CornerSearch 和$\sigma$-PGD。我们展示了由$\sigma$-CornerSearch ($\kappa =0.8$)、$\sigma$-PGD ($\kappa =0.8$) 和 $\sigma$-PGD ($\kappa =0.6$) 生成的对抗样本，以及重新缩放到 [0,1] 的各自扰动。$\sigma$-PGD 使用的稀疏度级别是$k=50$。

图 10：在 CIFAR-10 上比较$\sigma$-CornerSearch 和$\sigma$-PGD。我们展示了由$\sigma$-CornerSearch ($\kappa =0.4$)、$\sigma$-PGD ($\kappa =0.4$) 和 $\sigma$-PGD ($\kappa =0.25$) 生成的对抗样本，以及重新缩放到 [0,1] 的各自扰动。运用的稀疏度级别是$k=100$。灰色图像表示该方法未能找到对抗性操纵。

图 11：扰动的传播。当传播测试集的图像和与之相关的对抗样本时，获得的网络每个单元值的差异。垂直线段区分不同层的单元，因此输入空间显示在左侧，输出在右侧。每种颜色代表一张图像。