面向航空发动机智能故障诊断的持续对比强化学习方法

航空发动机在长期服役过程中面临复杂的极端工况，且真实运行环境中的故障样本发生频率低、类别高度不平衡，这增加了其故障诊断的难度。针对这一问题，相关研究提出了题为《Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios》的方法。该研究以发动机全生命周期数据与制造商提供的客户通知报告为基础，提取故障发生前特定飞行阶段的时序数据并结合专家系统标注，将发动机状态划分为正常状态以及不同类型的故障状态。

整体框架将航空公司的实际运营场景设定为智能体交互的学习环境。飞机在完成飞行任务后，机载传感器记录的时序数据通过空地通信系统传输并存储，作为状态输入传递给智能体；智能体输出对应的故障类型判定，地面专家根据排故检查验证系统判断并反馈评估结果；交互产生的状态、动作与反馈信息被实时归档至经验库中，为后续模型的动态更新提供数据支持。

特征区分模块旨在不生成虚假时序样本的前提下提升特征表征能力。该模块首先利用大量正常样本预训练长短期记忆自编码器以学习基础时序特征压缩表示，然后将训练好的编码器与多层投影网络连接构建对比学习网络；在该网络中，相同故障类型的真实样本组成正样本对，不同故障类型的样本组成负样本对，通过设置不同的正负样本权重系数与差异化学习率对编码器进行微调，拉近同类故障在特征空间的距离并扩大不同故障间的区分度。

类型识别模块采用决斗双深度Q网络实现类别分类。在该模块中，预先训练的特征编码器被冻结并作为前端特征提取网络，后端接入主循环网络并分解为状态价值流与动作优势流两个独立分支，协同计算各类动作的输出价值；同时，环境设计了与各类故障样本出现频率成反比的归一化奖励分配机制，使智能体在与经验回放池交互学习以及探索策略的更新过程中，平衡对不同分布密度类别的关注度。

在数据源采集与工程应用层面，监测对象覆盖了高低压压气机、燃烧室和高低压涡轮等关键部件，主要提取排气温度偏差、核心机转速偏差、燃油流量偏差和风扇转速等关键气路性能参数。机载传感器在巡航及关键飞行阶段记录数据并通过通信报告系统下传，结合原始设备制造商的专业算法对基础参数进行衍生计算与校准，形成标准化的输入矩阵以支撑特征提取与诊断推理。

整个诊断方法的执行流程包含自编码器预训练、对比学习网络微调以及强化学习智能体策略优化三个阶段。在测试与实际运行阶段，待测发动机的多航段传感器时序矩阵经标准化处理后输入智能体网络，由特征提取模块生成低维表征并送入决策网络，最后输出对应的最大状态动作价值索引，以此确定该发动机所处的健康状态或具体故障类别。

参考文献：

Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios. Advanced Engineering Informatics, 2025, 65(C): 103297.

https://www.sciencedirect.com/science/article/pii/S1474034625001909