航空发动机故障诊断智能体的搭建步骤

针对民航发动机故障样本极度稀缺、故障模式多样以及机队运行数据持续增长的工程实际，论文《Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios》提出了一套用于航空发动机故障诊断的持续对比强化学习智能体搭建思路。该智能体的构建将数据表征学习与序贯决策机制紧密结合，主要包括气路监测时序样本构建、无监督自编码器预训练、加权对比微调、非平衡奖励强化学习网络搭建，以及闭环持续在线演化等关键技术步骤。

智能体搭建的第一步是进行气路监测数据的提取与时序样本构建。从机载通信系统记录的飞行数据中提取排气温度偏差、核心机转速偏差、燃油流量偏差以及风扇转速等关键性能参数，并结合维修通告报告确定发动机发生故障的具体飞行阶段。采用固定长度的滑动时间窗口截取故障发生前的连续多段飞行数据作为故障样本，并截取发动机平稳运行阶段的多段连续飞行数据作为正常样本，将所有截取的时序矩阵进行归一化处理，完成基准数据集的构建。

第二步是构建基于长短期记忆网络的自编码器并进行预训练。由于实际运行中正常数据丰富而故障数据极少，为了防止特征提取网络过拟合于个别故障，自编码器阶段仅使用海量正常样本进行无监督重构训练。编码器采用长短期记忆网络结构按时间步依次处理飞行序列，将最后一个时间步的隐层状态作为整个序列的压缩表征，解码器则负责根据该表征重构原始序列，让编码器充分学习发动机常规退化的时序共性特征。

第三步是在预训练编码器的基础上进行加权对比微调。在保留预训练编码器权重的基础上，在其后接入多层全连接投影层构成对比学习网络。该步骤直接利用真实的故障数据构建样本对，将同一故障类型的样本组合为正样本对，不同故障类型的样本组合为负样本对，避免了人工合成时间序列可能带来的虚假特征问题。通过设置较小的编码器学习率和较大的投影层学习率，并在损失计算中提高正样本对权重、降低负样本对权重，拉近同类故障特征并推开不同故障特征。

第四步是搭建结合非平衡奖励机制的类型识别决策网络。将完成对比微调的编码器参数固定作为特征前端，后端接入双重决斗深度强化学习网络，将状态评估解耦为整体状态价值与各动作优势价值以提升决策稳定性。在智能体与诊断环境交互时，根据训练集中各类别样本数量的倒数设计非平衡奖励函数，当智能体正确识别稀有故障时赋予更大的绝对奖励值，以此平衡各类别在梯度更新中的贡献，尽量消除少数类故障被多数类淹没的风险。

第五步是建立智能体与民航实际业务环境的闭环持续学习机制。将构建好的智能体部署至航后监测流程中，每当完成一次航班飞行并下传数据时，智能体接收当前时序状态并输出故障判定动作，地面维护专家与维修记录对判定结果进行核实与反馈。交互产生的状态、动作和奖励信息被存入经验回放库，智能体在积累一定数量的新样本后周期性触发经验回放与网络更新，实现伴随数据增长自适应调整诊断策略的动态演化能力。

参考文献：

Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios[J]. Advanced Engineering Informatics, 2025, 65(C): 103297.

https://www.sciencedirect.com/science/article/pii/S1474034625001909