自适应参数化ReLU的复现指南
在基于深度学习的一维振动信号处理中,传统的激活函数通常对所有输入样本施加恒定不变的非线性映射。针对这一机制,发表于期刊《IEEE Transactions on Industrial Electronics》的研究《Deep Residual Networks With Adaptively Parametric Rectifier Linear Units for Fault Diagnosis》提出了一种自适应参数化修正线性单元(Adaptively Parametric Rectifier Linear Unit, APReLU),通过嵌入子网络动态学习每个输入样本专属的负半轴斜率参数。本文基于论文中的网络定义与实验配置,梳理该方法的数学表达、核心模块构造、网络集成及训练超参数,提供具体的复现步骤。
一、非线性变换原理与数学表达
在经典的深度神经网络中,无论输入样本的特征分布如何变化,激活函数(如 ReLU、LReLU、PReLU)对所有样本均采用相同的非线性变换规则,如图 1(a) 所示。论文提出的APReLU致力于使不同输入样本能够获得差异化的非线性变换映射,如图1(b)所示。

Fig. 1 (a) 经典深度神经网络中的非线性变换;(b) 论文提出的自适应非线性变换
几种代表性激活函数的数学形式对比说明如下:
-
ReLU:
\[y = \max(x, 0) \]负半轴特征全部被置为零。
-
Leaky ReLU (LReLU):
\[y = \max(x, 0) + 0.1 \cdot \min(x, 0) \]负半轴赋予一个预设的固定微小系数(如 0.1)。
-
Parametric ReLU (PReLU):
\[y = \max(x, 0) + \alpha \cdot \min(x, 0) \]其中 \(\alpha\) 为可学习参数。在训练阶段,每个通道学习一个固定的 \(\alpha\);在推理阶段,所有测试样本共享该固定的 \(\alpha\) 值。
-
APReLU(本文方法):
\[y = \max(x, 0) + \alpha(x) \cdot \min(x, 0) \]其中 \(\alpha(x) \in (0, 1)\) 是依据当前输入样本 \(x\) 的特征分布由子网络动态计算生成的斜率向量,不同样本对应不同的 \(\alpha\)。
二、APReLU子网络结构与前向计算步骤
APReLU的核心是一个嵌入式的轻量子网络,用于为每个输入样本生成专属的斜率向量 \(\alpha\)。其具体结构如图3(a)所示。

Fig. 3 (a) APReLU模块结构;(b) 嵌入APReLU的新型ResBlock;(c) ResNet-APReLU整体网络架构
设输入特征图张量为 \(X \in \mathbb{R}^{L \times C}\),其中 \(L\) 为时域特征序列长度,\(C\) 为特征通道数。前向计算的具体步骤如下:
步骤 1:正负特征信息分离与全局统计量提取
为同时捕获信号中的正向波动与负向波动信息,输入特征图分别输入至正、负两个统计分支:
- 正特征分支:输入特征图通过 ReLU 激活函数后,沿长度维度进行全局平均池化(Global Average Pooling, GAP),生成一维统计向量 \(v_{\text{pos}} \in \mathbb{R}^C\):\[v_{\text{pos}, c} = \frac{1}{L} \sum_{l=1}^L \text{ReLU}(X_{l, c}) \]
- 负特征分支:输入特征图通过 \(\min(x, 0)\) 截断函数后,同样沿长度维度进行全局平均池化,生成另一维统计向量 \(v_{\text{neg}} \in \mathbb{R}^C\):\[v_{\text{neg}, c} = \frac{1}{L} \sum_{l=1}^L \min(X_{l, c}, 0) \]
步骤 2:统计特征拼接
将两个分支提取的向量在通道维度进行拼接,得到包含正负两部分全局信息的组合向量 \(v\):
步骤 3:参数计算路径(Calculating Path)
组合向量 \(v\) 依次通过两组“全连接-批归一化-非线性激活”层,具体路径为:
- 第一层全连接(\(\text{FC}_1\)):输入维度为 \(2C\),输出维度设为 \(C\)(与输入通道数一致)。
- \(\text{BN}_1\) 与 \(\text{ReLU}\):对全连接输出进行归一化并引入第一级非线性。
- 第二层全连接(\(\text{FC}_2\)):输入维度为 \(C\),输出维度仍为 \(C\)。
- \(\text{BN}_2\) 与 \(\text{Sigmoid}\):对输出进行归一化后,使用 Sigmoid 函数将每个通道的数值映射至区间 \((0, 1)\) 内,防止斜率过大。最终生成样本依赖的动态斜率向量 \(\alpha \in \mathbb{R}^C\)。
步骤 4:自适应非线性映射
将计算得到的斜率向量 \(\alpha\) 沿长度维度 \(L\) 进行广播(Broadcasting),作用于原输入特征图 \(X\) 的负半轴:
其中 \(\odot\) 表示通道维度的逐元素相乘。输出特征图 \(Y\) 的尺寸与输入 \(X\) 完全相同(均为 \(L \times C\))。
三、网络模块与整体架构组装
1. 新型残差块(New ResBlock)
经典的残差网络单元(ResBlock)由卷积、批归一化、标准ReLU与恒等快捷连接组成,如图2(a)所示。

Fig. 2 (a) 经典ResBlock结构;(b) 经典ResNet整体架构
论文中构建的新型ResBlock采用Pre-activation形式,将标准ReLU替换为APReLU,结构如图3(b)所示:
- 每个 ResBlock 内部包含两个卷积层、两个 BN 层及两个 APReLU 单元,实现两级自适应非线性变换。
- 卷积核尺寸(Kernel Size)均设置为 3。
- 恒等映射(Identity Shortcut)直接将模块输入与第二层卷积的输出相加。
2. ResNet-APReLU整体架构
ResNet-APReLU的完整拓扑结构如图3(c)所示,其数据流向如下:
- 输入层:接收一维时域离散信号,单样本长度为4096。
- 前置卷积层:单层1D卷积,卷积核尺寸为3,卷积核数量为4。
- ResBlock 堆叠:连续堆叠 \(M\) 个新型ResBlock。网络通道数按深度分为三阶段均匀递增:
- 前 \(\frac{M}{3}\) 个 ResBlock:通道数为4;
- 中间 \(\frac{M}{3}\) 个 ResBlock:通道数为8;
- 后 \(\frac{M}{3}\) 个 ResBlock:通道数为16。
(注:论文中验证的模块总数 \(M\) 分别设定为6、9 和 12)。
- 尾部归一化与激活:残差块堆叠完成后,依次连接一个BN层和一个APReLU单元。
- 全局平均池化(GAP):沿时间维度求均值,将特征尺寸由 \((L, 16)\) 压缩为一维向量 \((16,)\)。
- 全连接分类层:全连接层输入维度为16,输出神经元数量等于分类任务的总类别数 \(N_{\text{class}}\),最后接入Softmax函数输出类别概率。
四、训练配置与实现细节
为保证模型复现的一致性,需严格遵循论文中规定的训练超参数与数据处理流程:
1. 优化器与学习率设置
- 优化算法:带动量项的随机梯度下降法(SGD with Momentum),动量系数设定为0.9。
- 迭代轮数:总训练轮数设定为 100 epochs。
- 分段学习率策略:
- 第 1 至 40 epochs:学习率设为 0.1;
- 第 41 至 80 epochs:学习率衰减至 0.01;
- 第 81 至 100 epochs:学习率衰减至 0.001。
2. 参数初始化与正则化
- 权重初始化:网络中所有卷积层与全连接层的权重采用 He 初始化方法(Kaiming Normal/Uniform)。
- 偏置初始化:所有偏置向量统一初始化为 0。
- 权重衰减:引入 L2 正则化以抑制过拟合,权重衰减系数(L2 penalty coefficient)设置为 0.0001。
3. 数据批次与预处理流水线
- 批大小(Batch Size):Minibatch 样本数量固定为128。
- 数据增强流程:
- 零填充:对输入的每个一维时域样本两端各填充 4 个零(两端各 pad 4 点);
- 随机裁剪:在填充后的信号序列上,随机裁剪出一段固定长度为 4096 的信号子序列作为网络实际输入。
4. 损失函数
多分类任务采用交叉熵损失函数(Cross-Entropy Error):
其中 \(t_j\) 为 one-hot 编码的真实标签,\(y_j\) 为 Softmax 输出的预测概率。网络反向传播严格遵循链式法则,APReLU 中各基础组件(ReLU、\(\min(x, 0)\)、GAP、Sigmoid)的局部导数按常规解析梯度正常反传更新网络权重。
参考文献
Deep Residual Networks With Adaptively Parametric Rectifier Linear Units for Fault Diagnosis[J]. IEEE Transactions on Industrial Electronics.

浙公网安备 33010602011771号