自适应参数化ReLU的复现指南

在基于深度学习的一维振动信号处理中,传统的激活函数通常对所有输入样本施加恒定不变的非线性映射。针对这一机制,发表于期刊《IEEE Transactions on Industrial Electronics》的研究《Deep Residual Networks With Adaptively Parametric Rectifier Linear Units for Fault Diagnosis》提出了一种自适应参数化修正线性单元(Adaptively Parametric Rectifier Linear Unit, APReLU),通过嵌入子网络动态学习每个输入样本专属的负半轴斜率参数。本文基于论文中的网络定义与实验配置,梳理该方法的数学表达、核心模块构造、网络集成及训练超参数,提供具体的复现步骤。


一、非线性变换原理与数学表达

在经典的深度神经网络中,无论输入样本的特征分布如何变化,激活函数(如 ReLU、LReLU、PReLU)对所有样本均采用相同的非线性变换规则,如图 1(a) 所示。论文提出的APReLU致力于使不同输入样本能够获得差异化的非线性变换映射,如图1(b)所示。

ScreenShot_2026-10-21_223547_071
Fig. 1 (a) 经典深度神经网络中的非线性变换;(b) 论文提出的自适应非线性变换

几种代表性激活函数的数学形式对比说明如下:

  1. ReLU:

    \[y = \max(x, 0) \]

    负半轴特征全部被置为零。

  2. Leaky ReLU (LReLU):

    \[y = \max(x, 0) + 0.1 \cdot \min(x, 0) \]

    负半轴赋予一个预设的固定微小系数(如 0.1)。

  3. Parametric ReLU (PReLU):

    \[y = \max(x, 0) + \alpha \cdot \min(x, 0) \]

    其中 \(\alpha\) 为可学习参数。在训练阶段,每个通道学习一个固定的 \(\alpha\);在推理阶段,所有测试样本共享该固定的 \(\alpha\) 值。

  4. APReLU(本文方法):

    \[y = \max(x, 0) + \alpha(x) \cdot \min(x, 0) \]

    其中 \(\alpha(x) \in (0, 1)\) 是依据当前输入样本 \(x\) 的特征分布由子网络动态计算生成的斜率向量,不同样本对应不同的 \(\alpha\)。


二、APReLU子网络结构与前向计算步骤

APReLU的核心是一个嵌入式的轻量子网络,用于为每个输入样本生成专属的斜率向量 \(\alpha\)。其具体结构如图3(a)所示。

ScreenShot_2026-10-21_223617_619
Fig. 3 (a) APReLU模块结构;(b) 嵌入APReLU的新型ResBlock;(c) ResNet-APReLU整体网络架构

设输入特征图张量为 \(X \in \mathbb{R}^{L \times C}\),其中 \(L\) 为时域特征序列长度,\(C\) 为特征通道数。前向计算的具体步骤如下:

步骤 1:正负特征信息分离与全局统计量提取

为同时捕获信号中的正向波动与负向波动信息,输入特征图分别输入至正、负两个统计分支:

  • 正特征分支:输入特征图通过 ReLU 激活函数后,沿长度维度进行全局平均池化(Global Average Pooling, GAP),生成一维统计向量 \(v_{\text{pos}} \in \mathbb{R}^C\):

    \[v_{\text{pos}, c} = \frac{1}{L} \sum_{l=1}^L \text{ReLU}(X_{l, c}) \]

  • 负特征分支:输入特征图通过 \(\min(x, 0)\) 截断函数后,同样沿长度维度进行全局平均池化,生成另一维统计向量 \(v_{\text{neg}} \in \mathbb{R}^C\):

    \[v_{\text{neg}, c} = \frac{1}{L} \sum_{l=1}^L \min(X_{l, c}, 0) \]

步骤 2:统计特征拼接

将两个分支提取的向量在通道维度进行拼接,得到包含正负两部分全局信息的组合向量 \(v\):

\[v = [v_{\text{pos}}, v_{\text{neg}}] \in \mathbb{R}^{2C} \]

步骤 3:参数计算路径(Calculating Path)

组合向量 \(v\) 依次通过两组“全连接-批归一化-非线性激活”层,具体路径为:

\[\text{FC}_1 \to \text{BN}_1 \to \text{ReLU} \to \text{FC}_2 \to \text{BN}_2 \to \text{Sigmoid} \]

  • 第一层全连接(\(\text{FC}_1\)):输入维度为 \(2C\),输出维度设为 \(C\)(与输入通道数一致)。
  • \(\text{BN}_1\) 与 \(\text{ReLU}\):对全连接输出进行归一化并引入第一级非线性。
  • 第二层全连接(\(\text{FC}_2\)):输入维度为 \(C\),输出维度仍为 \(C\)。
  • \(\text{BN}_2\) 与 \(\text{Sigmoid}\):对输出进行归一化后,使用 Sigmoid 函数将每个通道的数值映射至区间 \((0, 1)\) 内,防止斜率过大。最终生成样本依赖的动态斜率向量 \(\alpha \in \mathbb{R}^C\)。

步骤 4:自适应非线性映射

将计算得到的斜率向量 \(\alpha\) 沿长度维度 \(L\) 进行广播(Broadcasting),作用于原输入特征图 \(X\) 的负半轴:

\[Y = \max(X, 0) + \alpha \odot \min(X, 0) \]

其中 \(\odot\) 表示通道维度的逐元素相乘。输出特征图 \(Y\) 的尺寸与输入 \(X\) 完全相同(均为 \(L \times C\))。


三、网络模块与整体架构组装

1. 新型残差块(New ResBlock)

经典的残差网络单元(ResBlock)由卷积、批归一化、标准ReLU与恒等快捷连接组成,如图2(a)所示。

ScreenShot_2026-10-21_223558_307
Fig. 2 (a) 经典ResBlock结构;(b) 经典ResNet整体架构

论文中构建的新型ResBlock采用Pre-activation形式,将标准ReLU替换为APReLU,结构如图3(b)所示:

\[\text{Input} \to \text{BN}_1 \to \text{APReLU}_1 \to \text{Conv}_1 \to \text{BN}_2 \to \text{APReLU}_2 \to \text{Conv}_2 + \text{Identity Shortcut} \to \text{Output} \]

  • 每个 ResBlock 内部包含两个卷积层、两个 BN 层及两个 APReLU 单元,实现两级自适应非线性变换。
  • 卷积核尺寸(Kernel Size)均设置为 3。
  • 恒等映射(Identity Shortcut)直接将模块输入与第二层卷积的输出相加。

2. ResNet-APReLU整体架构

ResNet-APReLU的完整拓扑结构如图3(c)所示,其数据流向如下:

  1. 输入层:接收一维时域离散信号,单样本长度为4096。
  2. 前置卷积层:单层1D卷积,卷积核尺寸为3,卷积核数量为4。
  3. ResBlock 堆叠:连续堆叠 \(M\) 个新型ResBlock。网络通道数按深度分为三阶段均匀递增:
    • 前 \(\frac{M}{3}\) 个 ResBlock:通道数为4;
    • 中间 \(\frac{M}{3}\) 个 ResBlock:通道数为8;
    • 后 \(\frac{M}{3}\) 个 ResBlock:通道数为16。
      (注:论文中验证的模块总数 \(M\) 分别设定为6、9 和 12)。
  4. 尾部归一化与激活:残差块堆叠完成后,依次连接一个BN层和一个APReLU单元。
  5. 全局平均池化(GAP):沿时间维度求均值,将特征尺寸由 \((L, 16)\) 压缩为一维向量 \((16,)\)。
  6. 全连接分类层:全连接层输入维度为16,输出神经元数量等于分类任务的总类别数 \(N_{\text{class}}\),最后接入Softmax函数输出类别概率。

四、训练配置与实现细节

为保证模型复现的一致性,需严格遵循论文中规定的训练超参数与数据处理流程:

1. 优化器与学习率设置

  • 优化算法:带动量项的随机梯度下降法(SGD with Momentum),动量系数设定为0.9。
  • 迭代轮数:总训练轮数设定为 100 epochs。
  • 分段学习率策略:
    • 第 1 至 40 epochs:学习率设为 0.1;
    • 第 41 至 80 epochs:学习率衰减至 0.01;
    • 第 81 至 100 epochs:学习率衰减至 0.001。

2. 参数初始化与正则化

  • 权重初始化:网络中所有卷积层与全连接层的权重采用 He 初始化方法(Kaiming Normal/Uniform)。
  • 偏置初始化:所有偏置向量统一初始化为 0。
  • 权重衰减:引入 L2 正则化以抑制过拟合,权重衰减系数(L2 penalty coefficient)设置为 0.0001。

3. 数据批次与预处理流水线

  • 批大小(Batch Size):Minibatch 样本数量固定为128。
  • 数据增强流程:
    1. 零填充:对输入的每个一维时域样本两端各填充 4 个零(两端各 pad 4 点);
    2. 随机裁剪:在填充后的信号序列上,随机裁剪出一段固定长度为 4096 的信号子序列作为网络实际输入。

4. 损失函数

多分类任务采用交叉熵损失函数(Cross-Entropy Error):

\[E = -\sum_{j=1}^{N_{\text{class}}} t_j \log(y_j) \]

其中 \(t_j\) 为 one-hot 编码的真实标签,\(y_j\) 为 Softmax 输出的预测概率。网络反向传播严格遵循链式法则,APReLU 中各基础组件(ReLU、\(\min(x, 0)\)、GAP、Sigmoid)的局部导数按常规解析梯度正常反传更新网络权重。


参考文献

Deep Residual Networks With Adaptively Parametric Rectifier Linear Units for Fault Diagnosis[J]. IEEE Transactions on Industrial Electronics.

https://ieeexplore.ieee.org/abstract/document/8998530

posted @ 2026-10-21 22:45  翼下之峰  阅读(4)  评论(0)    收藏  举报