用于故障诊断的深度残差收缩网络论文分析

本文围绕论文 “Deep Residual Shrinkage Networks for Fault Diagnosis” 展开。该论文发表于 IEEE Transactions on Industrial Informatics（第 16 卷第 7 期，2020 年 7 月）。论文在残差网络中加入软阈值收缩，并通过可训练子网络根据中间特征自适应地确定阈值，构建了共享阈值版本 DRSN-CS 与通道独立阈值版本 DRSN-CW。本文按信号输入、残差特征提取、阈值估计、软阈值处理和分类输出的顺序梳理论文方法。

1. 从一维振动信号开始

论文以机械设备的原始振动信号作为网络输入。对于一段一维振动序列，卷积核沿时间方向滑动，提取局部波形变化，并逐层形成多通道特征图。论文中的特征图用“通道数 × 宽度 × 高度”表示；对一维振动信号而言，高度为 1，因此可将其理解为“通道数 × 时间位置 × 1”。

图 1　特征图、卷积核与卷积过程。

在卷积网络中，卷积层负责局部特征提取；批归一化（Batch Normalization，BN）对特征进行归一化并通过可训练参数调整尺度与偏移；ReLU 提供非线性变换。网络末端的全局平均池化（Global Average Pooling，GAP）对每个通道沿时间位置求平均，将特征图压缩为向量，再由全连接层输出类别得分。论文使用 Softmax 将类别得分转换为类别概率，并以交叉熵作为分类目标函数。

2. ResNet 基础结构：残差支路与捷径连接

论文以经典残差网络（ResNet）作为基础结构。一个常规残差构建单元（Residual Building Unit，RBU）包含两组 BN、ReLU 和卷积操作，并设置一条恒等捷径连接。若将卷积分支的变换记为 F(x)，其核心计算可概括为：

\[y = F(x) + x \]

其中，\(x\) 是输入特征，\(F(x)\) 是残差支路提取的特征，二者逐元素相加形成单元输出。网络在不同阶段可以使用步长为 2 的卷积缩短特征图的时间宽度，并按结构配置调整通道数；参与相加的两路特征需要在维度上对应。

图 2　不同尺寸变化的残差构建单元及 ResNet 整体结构。

在整体网络中，输入信号先经过初始卷积，再通过多个残差构建单元逐层提取特征，随后执行 BN、ReLU、GAP 和全连接分类。残差捷径使输入特征可以绕过卷积分支参与后续相加；深度残差收缩网络保留这一基本骨架，并在构建单元内部增加收缩操作。

3. 软阈值收缩：将阈值附近的特征置零

软阈值（Soft Thresholding）原本用于信号去噪。论文把它作为神经网络中的非线性变换层，用于收缩幅值较小的特征。对于输入特征值 x 和正阈值 \(\tau\)，软阈值函数为：

\[S_{\tau}(x)=\operatorname{sign}(x)\max(|x|-\tau,0) \]

等价地，可按三个区间理解：

• 当 \(x > \tau\) 时，输出 \(x - \tau\)；
• 当 \(-\tau \le x \le \tau\) 时，输出为 \(0\)；
• 当 \(x < -\tau\) 时，输出 \(x + \tau\)。

因此，软阈值不是简单地把所有负值置零。它将阈值区间内的特征压为零，而区间外正值和负值均向零方向收缩。阈值 \(\tau\) 为正，具体大小决定哪些特征会被置零。

图 3　软阈值函数及其导数示意。

在 DRSN 中，软阈值作用于残差支路中的特征图。阈值并非事先固定为一个手工指定的常数，而是由网络内部的阈值估计子网络根据当前特征计算得到。

4. 自适应阈值：由特征图生成阈值

论文给出了两种阈值配置方式。二者都以待收缩特征图 x 为输入，先取绝对值，再通过 GAP 得到描述各通道幅值的向量，并交给两层全连接网络。全连接子网络的输出经 Sigmoid 映射到 (0,1)，得到缩放系数。之后，缩放系数与特征幅值的均值相乘，形成软阈值。

4.1 DRSN-CS：所有通道共享一个阈值

DRSN-CS 中的 CS 指 channel-shared。阈值估计步骤如下：

1. 对特征图逐元素取绝对值，得到 |x|。
2. 对绝对值特征图执行 GAP，形成按通道汇总的向量。
3. 将向量输入两层全连接子网络，得到标量 z，再计算缩放系数：

\[\alpha=\frac{1}{1+e^{-z}} \]

4. 对整个特征图的所有位置和通道求绝对值均值，并与 \(\alpha\) 相乘：

\[\tau=\alpha\cdot\operatorname{mean}_{i,j,c}|x_{i,j,c}| \]

5. 使用同一个 \(\tau\) 对该特征图的所有通道执行软阈值收缩。

这里的全连接子网络负责从通道汇总特征中生成缩放系数；阈值本身由缩放系数和当前特征图的绝对值均值共同计算得到。

4.2 DRSN-CW：每个通道分别计算阈值

DRSN-CW 中的 CW 指 channel-wise。前面的绝对值操作和 GAP 与 DRSN-CS 相似，差别在于全连接子网络输出每个通道对应的缩放系数，而不是单个标量：

\[\alpha_c=\frac{1}{1+e^{-z_c}} \]

随后，每个通道分别计算自己的绝对值均值和阈值：

\[\tau_c=\alpha_c\cdot\operatorname{mean}_{i,j}|x_{i,j,c}| \]

最后，将第 c 个通道的阈值 \(\tau_c\) 应用于该通道的特征值。由此，DRSN-CW 的阈值沿通道分别定义；DRSN-CS 则在同一特征图上使用共享阈值。

5. 将软阈值嵌入残差单元

论文将新增的阈值估计子网络与软阈值函数放进残差构建单元，分别形成 RSBU-CS（Residual Shrinkage Building Unit with Channel-shared thresholds）和 RSBU-CW（Residual Shrinkage Building Unit with Channel-wise thresholds）。其计算过程可按以下顺序理解：

1. 输入特征进入残差支路，经过 BN、ReLU 和卷积等变换，形成残差特征。
2. 将待收缩特征送入阈值估计分支：取绝对值、GAP、两层全连接网络和 Sigmoid，得到缩放系数。
3. 将缩放系数与对应的特征幅值均值相乘，计算共享阈值或逐通道阈值。
4. 用软阈值函数处理残差特征，将阈值范围内的值置零，并对范围外的值向零收缩。
5. 将收缩后的残差特征与捷径分支的特征逐元素相加，得到该构建单元的输出。

RSBU-CS 使用共享阈值计算方式，RSBU-CW 使用通道独立阈值计算方式。二者的其他整体组织方式沿用残差网络的构建思路。

图 4　RSBU-CS 与 DRSN-CS，以及 RSBU-CW 与 DRSN-CW 的构建单元及整体网络结构。

6. 从振动信号到故障类别的完整计算流程

结合论文中的网络结构，一次前向计算可归纳为以下步骤：

1. 输入信号：将一段振动序列输入网络，作为当前待识别样本。
2. 初始卷积：通过卷积层形成初始特征图，并按网络结构调整时间方向的宽度。
3. 残差特征提取：依次通过多个 RSBU-CS 或 RSBU-CW，执行卷积变换并保留捷径连接。
4. 阈值估计：在每个收缩单元内部，根据当前特征图计算缩放系数和阈值。
5. 软阈值处理：逐元素执行软阈值函数，收缩阈值附近的特征。
6. 残差融合：把经过收缩的残差特征与捷径特征相加，作为单元输出。
7. 特征汇总与分类：在残差单元堆叠结束后执行 BN、ReLU 和 GAP，再由全连接层输出各故障类别的得分。
8. 训练阶段的参数更新：通过 Softmax 计算类别概率，以交叉熵衡量预测与标签之间的差异，并利用反向传播更新卷积层、全连接层及阈值估计子网络中的可训练参数。

推理时，阈值估计子网络仍根据当前传播到收缩单元的特征生成阈值，再完成软阈值处理和分类；不需要在网络外部另外手工输入每个样本的阈值。

7. DRSN-CS 与 DRSN-CW 的结构区别

对比项目	DRSN-CS	DRSN-CW
阈值配置	同一特征图共享一个阈值	每个通道分别有一个阈值
缩放系数输出	一个标量 \(\alpha\)	按通道输出 \(\alpha_c\)
幅值均值	对全部通道及位置求均值	对每个通道的位置分别求均值
收缩方式	全部通道使用同一个 $\tau$	第 c 个通道使用 $\tau_c$
对应构建单元	RSBU-CS	RSBU-CW

两种结构的共同流程是：从特征图提取幅值统计量，经全连接子网络产生缩放系数，再据此计算阈值并进行软阈值收缩。区别集中在缩放系数和阈值是否按通道分别输出。

8. 参考文献

“Deep Residual Shrinkage Networks for Fault Diagnosis.” IEEE Transactions on Industrial Informatics, vol. 16, no. 7, July 2020, pp. 4681–4690. DOI: 10.1109/TII.2019.2943898.