随笔

 

基于时空信息和注意力融合的车道线检测模型研究 西南交通大学博士研究生学位论文

尽管车道线检测能为驾驶中的车辆提供很多服务，但是，已有的这些功能往往对使用条件要求苛刻，并且在复杂场景下不能很好地检测到车道线。比如，在正常情况下，车道保持（LC）可为车辆提供较好的服务，而在拥挤、遮挡、阴影、暗光等复杂场景下，

车道保持因只能检测到部分车道线而不能很好地将行驶车辆保持在当前车道。因此，本论文分别从空间信息、时间和空间信息、时间和空间信息与注意力融合的角度，建立不同的解决方案对复杂场景下的车道线检测进行系统的研究和探索。

论文所构建的一系列模型有望解决复杂、多变、恶劣天气等驾驶场景中车道线检测的难题，为辅助驾驶、自动驾驶提供更为可靠的车道线检测技术，对进一步优化安全驾驶具有重要意义。

1.3 论文研究内容及主要贡献

本论文从空间信息、时空信息、时空信息和注意力融合等角度，系统地研究复杂驾驶场景中的车道线检测模型，论文的整体结构及主要内容如图1-1所示。

具体地，详细内容如下：

（1）建立基于纵向空间特征信息的车道线检测模型，旨在提升模型在复杂场景下对车道线的检测精度。车道线在图像中的空间分布具有狭长特性，这一特点引发论文对车道线上各像素点之间依赖关系重要程度的思考：车道线上纵向像素点之间的依赖关系与横向像素点之间的依赖关系对车道线检测的影响程度。由此，论文结合CNN、空洞卷积和纵向信息交互模块SCNN建立了一个基于纵向空间特征信息的车道线检测模型。在该模型的编码阶段，采用CNN和空洞卷积灵活组合操作增加对输入图像的车道线特征信息采样和减少权重参数大小。在高级语义阶段，则使用纵向信息交互模块进一步增加车道线全局特征中纵向像素点的信息交互，以此来增强车道线内纵向像素点之间的依赖关系。实验结果表明车道线上纵向像素点之间的关系比横向像素点之间的关系更重要。

（2）在实时车道线检测模型方面，平衡模型内存占用大小、检测精度、运行速度和模型鲁棒性之间的矛盾关系是个非常具有挑战性的问题。提高模型的检测精度和鲁棒性需要模型具有深层卷积网络的超强学习能力，模型的内存占用大小则需要模型在每一个隐藏层具有较少通道数量，较快的运行速度则要求模型尽可能避免使用时间记忆单元和空洞卷积等降低计算速度的操作。综合以上分析，本部分工作结合残差模块和U-Net的优点，选用运行速度较快的标准卷积和残差操作来组建轻量化的实时车道线检测模型LRNet。考虑到深层堆砌网络层可能引发梯度爆炸或消失，论文在模型的深层位置选择加入残差操作来缓解梯度问题。大量的实验结果表明，LRNet很好地平衡了模型内存占用大小、模型检测精度、运行速度和模型鲁棒性之间的矛盾关系。

（3）综合考虑图像中的时间和空间信息，以利用车道线的全局特征信息为重点，构建了基于全局时空信息的车道线检测模型。与基于空间信息的车道线检测模型不同，论文认为蕴含在连续帧中的时间信息对于车道线检测同样重要，并同时考虑利用时间和空间信息来构建模型对车道线进行检测。以连续多帧组成的序列作为本模型的输入，在模型的编码网络之后加入时间记忆单元ConvGRU，利用ConvGRU 在处理连续帧过程中学到的全局车道线时间特征信息把孤立分布在图像中的全局车道线空间特征信息关联起来。另外，在编码网络阶段还加入了带有 3 × 1 1 × 3 核的卷积操作和空洞卷积，前者在达到增加采样特征图的同时，降低了权重参数大小（与带有 3 × 3 核的卷积操作相比）。后者可通过不同的扩张因子增大卷积操作在提取车道线特征信息时的感受范围。

（4）含有丰富信息的全局特征是由检测模型从包含多样且细腻内容的局部特征中逐渐学习得到。因此，在车道线被最终预测出来之前，局部的车道线特征信息也应该被记忆并利用起来。在考虑图像中蕴含的时间信息和空间信息情况下，以同时利用车道线的局部和全局特征信息为重点，构建了双卷积门控循环时空信息的车道线检测模型（STDConvGRU）。在STDConvGRU 的初级特征阶段，一个时间记忆单元ConvGRU（FCGRU）被用来获取车道线的局部特征信息。而在该模型的高级特征阶段，一个时间记忆单元ConvGRU（MCGRU）被用来获取车道线的全局特征信息。大量的实验结果表明：（a）局部特征信息和全局特征信息的结合确实提高了模型在复杂场景下对车道线的检测性能；（b）局部特征信息和全局特征信息之间存在某种联系，而这种联系取决于不同卷积层的局部特征信息。在本章节相关的消融实验部分，这一结论被详细地讨论，并被相关实验结果验证。（5）以优化和增强时间记忆单元在处理连续帧的过程中对车道线特征的学习能力为出发点，考虑在时空信息中融入注意力模块，建立了基于时空特征信息和注意力融合的车道线检测模型。

与以上基于时空信息的车道线检测模型不同，论文重点关注如何使时间记忆单元更有效地从处理连续帧的过程中学习到车道线的特征信息。在深入分析时间记忆单元ConvGRU组成结构，理解其内部各部分运行过程的基础上，论文认为提高时间记忆单元ConvGRU学习能力的关键可能在于：（a）从外部来看，取决于当前状态特征信息向量 𝑥𝑡 和前一时刻的状态特征信息向量 ℎ𝑡−1 。如果二者在模型训练的每一时刻都尽可能地包含更有效的车道线特征信息，模型对车道线的最终检测性能将会被提高。（b）从内部来看，更新门和遗忘门是后续所有相关变量生成的基础。因此，如果它们所包含的内容若能在最大程度上表示有效的车道线特征，则这些内容经解码网络恢复后也可能提升模型对车道线的检测性能。

无论是外部分析还是内部观察，提高ConvGRU学习能力的核心在于：在各特征信息向量内部，如何加强各通道和维度间像素的依赖关系，并对这种新建立起来的依赖关系重新进行有效编码。三重注意力机制通过转换和卷积运算操作可从三个维度对其输入向量中各特征图间的像素建立良好的依赖关系并对其进行重编码。因此，论文选用三重注意力模块针对时间记忆单元ConvGRU外部的当前状态特征信息向量 𝑥𝑡 和前一时刻的状态特征信息向量 ℎ𝑡−1 中各特征图间的像素建立依赖关系并重新编码。而在时间记忆单元ConvGRU的内部，利用三重注意力模块对更新门和遗忘门所表示的特征信息向量进行类似处理。在此基础上，构建基于时空特征信息和注意力融合的车道线检测模型。实验结果表明，通过三重注意力机制对当前状态特征信息向量 𝑥𝑡 、前一时刻的状态特征信息向量 ℎ𝑡−1 、遗忘门进行依赖关系重建时，本模型对车道线检测可取得最佳效果。

本论文的主要贡献如下：一、基于纵向空间特征信息的车道线检测模型探索并验证了车道线纵向上各像素点之间的依赖关系更重要。二、建立了一种轻量化的实时车道线检测模型，该模型具有内存占用小、检测精度高、运行速度快和较高鲁棒性的特性。三、基于全局时空信息的车道线检测模型同时考虑了时间和空间信息，实验结果表明本模型提高挑战性场景下对车道线的检测精度。四、构建了一种由两个时间记忆单元组成的双卷积门控循环时空信息的车道线检测模型。大量实验结果表明，局部特征与全局特征的结合提升了模型在复杂场景下对车道线的检测性能。五、基于时空特征信息和注意力融合的车道线检测模型讨论了如何使时间记忆单元更有效地在处理连续帧的过程中学习车道线特征的能力，大量实验结果证实了本模型的有效性。

 

第 2 章 基于空间特征信息的车道线检测模型

2.1 引言

由于在复杂而动态的驾驶场景中存在诸多挑战性的因素，比如拥挤、暗光、无标记的车道线以及标注不完整的车道线等。因此，对于环境感知而言，如何从其周围环境中准确地检测到车道线依然是个开放性的研究课题。在图像中，车道线特征分布在内容繁多的空间信息中，因而，最直观的思路就是如何有效地利用空间特征信息来准确地检测出车道线，这已成为当前研究车道线检测的主要思想之一。目前，在利用空间特征信息对车道线进行检测的研究中，大概可分为提升车道线检测模型的性能和构建具有实时性的车道线检测模型两个方向。

尽管车道线检测在性能提升和实时性研究方面都取得了一定的进展，但二者也存在明显的不足，亟待进一步完善和改进。前者表现为在一些具有挑战性因素的场景下，模型的检测精度依然不高，并且相应的车道线检测模型具有较大的权重参数。针对这一问题，本章建立一个基于纵向空间特征信息的车道线检测模型，该模型提升了复杂场景下对车道线的检测精度，同时减少了模型的权重参数。而后者则体现在难于平衡模型的内存占用大小、检测精度、运行速度及鲁棒性之间的矛盾。针对这一难题，本章构建了一个具有U 形结构的轻量化实时车道线检测模型。实验结果表明，该模型很好地协调和平衡了内存占用大小、检测精度、运行速度及鲁棒性之间的矛盾。

2.2 相关工作

第 3 章 基于全局时空信息的车道线检测模型

3.1 引言

目前，在车道线检测研究中，基于空间信息的车道线检测模型依然居多，而基于时间和空间信息的车道线检测研究则相对较少。在不考虑图像中时间信息的情况下，图像序列帧中的车道线空间特征信息是孤立的、不连贯的。已有的研究文献表明，图像中的时间信息对于环境感知同样重要 [139–143] ，比如借助时间信息可以推断车辆的行驶轨迹，可以定位车辆行驶过程中的位置信息等。事实上，在动态变化的驾驶环境中，车道线本身在图像的空间分布上也是连续的。因此，无论从时间信息本身，还是从车道线在空间上的连续性出发，融合时间和空间信息构建基于时空信息的车道线检测模型都具有重要意义。

全局特征信息包含了目标的整体状态信息，已被广泛应用于语义分割任务 [95, 144, 145] 。本章以利用车道线的全局特征信息为核心，通过结合卷积神经网络CNN、空洞卷积和时间记忆单元convolutional gated recurrent unit（ConvGRU）构建一个基于全局时空信息的车道线检测模型。实验结果证明本模型提升了复杂场景下对车道线的检测精度，减少了权重参数大小。

3.2 相关工作

第 4 章 双卷积门控循环时空信息的车道线检测模型

4.1 引言

高级驾驶辅助系统（ADAS）已成为计算机视觉和自动驾驶领域的热门研究方向 [153] 。自动驾驶非常复杂，其驾驶场景不断变化。阻碍自动驾驶发展的主要瓶颈之一是环境感知问题。环境感知包含诸多因素，每个因素对于ADAS而言都非常具有挑战性，比如道路检测、车道线检测、行人检测、碰撞避免等 [154] 。车道线检测对于完全自动驾驶非常重要，在车辆行驶的过程中，它可以帮助车辆定位其在车道中的位置，还可以帮助车辆感知其周围车道线的存在 [13] 。

为了克服场景变化引起的车道线检测困难问题，许多车道线检测方法已被提出。已被提出的车道线检测模型大致分为两类：基于传统方法的车道线检测和基于深度学习的车道线检测。其中，前者已被成功应用于那些场景变化不大的情景中。当场景变化较快时，比如在 𝑇1 时刻，当前场景下的车道线被阴影遮挡，并且车道线呈现出虚线状态。在 𝑇2 时刻，当前场景下的车道线被阴影遮挡，但车道线呈现不清晰的状态。而到了 𝑇3 时刻，当前场景下的车道线则可能呈现出弯曲线、间断线、分离线等状态。这些情况在车辆行驶的整个过程中随机发生，无法避免。此时，面对复杂场景下的车道线检测，基于深度学习的车道线检测模型可在一定程度上检测到部分车道线，并且检测效果远达不到可被直接使用的程度。因此，尽管已有很多车道线检测方法被提出，但车道线检测依然是个非常具有挑战性的研究课题。

受布洛德曼图相关理论中记忆有参与视觉形成过程以及语义分割在图像处理方面成功应用的启发，本章把车道线检测看作分割问题，同时考虑车道线的局部特征和全局特征，构建一个双卷积门控循环时空信息的车道线检测模型（STDConvGRU）。一个ConvGRU时间记忆单元被放置在模型的初级语义阶段用于获取车道线的低级语义信息（车道线的局部特征），另一个ConvGRU时间记忆单元被放置在高级语义阶段用于获取车道线的高级语义信息（车道线的全局特征）。

4.2 相关工作

第 5 章 基于时空信息和注意力融合的车道线检测模型

5.1 引言

时间信息和空间信息对于解决环境感知中的车道线检测任务有着重要作用。已有的检测模型大都通过串联或并联的方式把时空信息单元模块嵌入到网络中，以此来提升模型在目标任务上的性能。但是，少有研究探索这样的问题：以车道线检测任务为目标，在时空信息单元模块处理连续帧的过程中，如何让其有意识地记忆和提取车道线特征信息？探索这一问题有助于利用更高效的时空信息单元构建更能应对复杂场景的车道线检测模型，论文将三重注意力模块（triple attention）分别作用于时空单元模块ConvGRU的当前输入状态信息、前一时刻的状态信息和遗忘门以建立各特征图内部各通道间的依赖关系，并对新建立的各特征图进行重新编码以增强其对车道线特征的表示能力和抑制那些与车道线无关的干扰信号能力。此后，本章构建了一个由空洞卷积和TARConvGRU模块组成的车道线检测模型，并在三个专用车道线数据集：TuSimple、DET及UnsupervisedLLAMAS上训练并验证了所构建检测模型的性能。实验结果表明，与其它先进的车道线检测模型相比，本模型取得了很有竞争力的性能结果。

5.2 相关工作

 

基于深度学习的干旱预测及其可解释性研究 陈子轩

1.2.3神经网络可解释性研究进展

机器学习技术已广泛应用于各个领域，与此前的传统方法相比，机器学习模型通常可以在各研究领域实现更高的精度，而机器学习可解释性对于研究干旱及其产生的影响是尤为关键的[60-63]。理解模型预测背后的原因在机器学习领域至关重要[64]。平衡模型的预测性能和可解释性机理存在一定的难度，这就需要将模型和有效的方法进行结合，更好地理解模型背后的机制可进一步提高模型性能[65, 66]。截至目前已有部分研究在此领域展开，沙普利（SHapley）[67]最早提出是基于博弈论的概念，用于评估不同玩家对总支出的贡献。Strumbelj等人[68]则将其应用于机器学习领域。之后的研究基于此提出了沙普利加法解释性（SHapley Additive exPlanations，SHAP）模型用于处理复杂的机器学习问题，对每个特征分配特定的重要性值，从而对模型的预测结果进一步做出可解释性分析[69, 70]。Dikshit等人[71]则在干旱预测当中运用了SHAP模型，分析了多种气候变量在月尺度以及年尺度不同范围的重要性，并得到了与物理模型解释相一致的结果。期望梯度（Expected Gradients，EG）是一种归因方法，可以分析特征的重要程度，提高模型在任务中的性能[72]。该方法之后也应用于水文学的研究当中，分析了气温和降水量在模型预测洪水过程中的影响程度，近一步展现了深度学习技术在可解释性领域的应用[65]。类激活图（Class Activation Mapping，CAM）[73]是一项针对CNN的全局平均池化技术，该方法可将模型的预测结果可视化并突出显示对预测结果产生重要影响的区域，是一种有效的空间可解释性技术。Ham等人[74, 75]使用CNN结合迁移学习对厄尔尼诺~南方涛动（El Niño/Southern Oscillation，ENSO）进行了长期预测并在后期对此方法进行了优化，极大提升了对ENSO事件的预测精度，有效地促进了深度学习技术在地球科学领域的研究。此外该研究还将CAM应用于气候预测中，分析了CNN模型如何在较长的提前期内稳定的预测出Nino3.4指数，对不同区域的数据在预测ENSO事件中的贡献度进行了可视化。Selvaraju等人[76]则提出了梯度加权类激活图（Gradient-weighted ClassActivation Mapping，Grad-CAM），该方法相较于此前的CAM识别更为精准，适用范围更加广泛。

1.2.4研究现状总结与分析

干旱是一种影响范围广泛的自然灾害，结合上述干旱指数的研究进展，干旱预测方法的研究进展以及神经网络可解释性的相关研究，可以看出截至目前已有大量研究集中在了干旱预测这一领域，但也存在着一些不足。本研究根据国内外研究现状的综述对此进行了总结：

（1）评估干旱的指数有多种，现有的干旱指数主要集中在月尺度的研究上，但突发性干旱同样会对社会经济造和生态环境造成极大的损害。月尺度甚至更长尺度的干旱预测无法及时对短期内的天气变化做出反馈。综合此前相关研究，针对干旱的中短期预报相对欠缺。

（2）一个地区的气候变化不仅受到其自身因素的影响，距离其较远区域的地理环境对该地区的影响同样不容忽视。截至目前针对干旱的预测方法有很多，但无论是单气象要素预测还是考虑到了多种气象要素的影响，多数的研究则是集中在了时间序列或时空场的预测上，没有综合考虑到研究区周边环境对其的影响。

（3）针对干旱预测的研究方法种类繁多，早期的概率统计模型方法预测结果相对稳定，计算过程较为严谨，有着很好的可解释性，但精度普遍偏低。随着科学技术的进步，人工智能方法在干旱预测领域已经取得了显著成效，机器学习技术在预测精度上要优于很多传统方法，但其自身也存在一定的问题。基于数据驱动的模型往往可以依托大量的样本和标签直接输出预测结果，但现有的相关研究较少关注模型内部不同变量是如何计算从而输出预测目标。关于机器学习可解释性的研究已经在很多的领域得到了发展，但在干旱预测这一领域的应用还相对较少，理解模型背后的机制对于提升模型的预测能力是至关重要的。

基于深度学习的干旱预测及其可解释性研究

第六章总结与展望

干旱作为一种破坏力极强且影响范围广泛的自然灾害，已经严重威胁到了全球各地的生态环境，近年来干旱发生的频率也在不断增加，我国的黄淮海流域受旱灾的影响尤为严重[129, 130]。因此，干旱预测在干旱的早期预警中起着至关重要的作用，可以有效减缓旱灾所造成的影响。不同于缓慢干旱事件，突发性干旱往往更难预估且发展极为迅速，并会对社会经济和生态系统造成重大破坏，因此针对干旱的中短期预测有着极为重要的研究意义。深度学习方法是干旱预测的有效工具，本研究以SAPEI作为评估干旱的指数，基于CN05.1数据集，使用了多种深度学习方法对汾河流域的干旱情况进行了日尺度预测，并对深度学习模型进行了可解释性研究，分析了不同预测因子以及黄淮海流域气象要素的空间分布特征在汾河流域干旱预测过程中的影响。本研究的主要结论总结如下：

（1）在使用时序神经网络模型预测汾河流域干旱的研究中，实验对比分析了GRU，LSTM，biLSTM，TFR以及IFR五种深度学习模型的预测结果。整体来看，不同深度学习模型都可以较为准确的预测出汾河流域的干旱状况，但结合不同评价指标来看，模型预测的准确性会随着预测时长的增加不可避免的降低。在对汾河流域未来10天的预测中，biLSTM模型，TFR模型和IFR模型的预测结果要优于GRU模型和LSTM模型，biLSTM模型短期预测的效果要优于其余四个模型，而TFR模型和IFR模型在干旱的长期预测中更具备优势，并且对于一些重度干湿变化预测相对准确。此外，模型会低估汾河流域的湿润情况而高估汾河流域的干旱情况。

（2）在时空神经网络模型预测汾河流域干旱的研究中，实验基于A_CNN模型，在考虑黄淮海流域气象要素空间分布特征的前提下对汾河流域的干旱进行了日尺度预测并设计了两组对比实验。整体来看，仅使用影响干旱的关键变量（EXP4）和使用研究中全部变量（EXP10）两组实验均对汾河流域的干旱做出了有效的预测，与时序神经网络预测结果一致，模型预测的准确性会随预测时长的增加而降低，但EXP4的预测结果要优于EXP10。此外，对于重度干旱以及湿润的情况，模型在短期预测中的效果较为准确，但从长期预测来看模型会存在一定的局限性。

（3）在基于神经网络可解释性的干旱影响因子贡献度分析中，研究分析了不同预测因子以及黄淮海流域不同区域历史30天对汾河流域未来一天SAPEI值的影响。实验结果表明在历史30天的时间序列中，预测因子的重要程度有所变化。综合历史30天的总影响，TM的贡献最高，其次是PRE和RHU，PET最弱，并且不同的预测因子会对预测结果产生不同影响，PRE和RHU会对SAPEI值产生正影响而PET和TM则会产生负影响。此外，热力图表明黄淮海流域不同区域在气象要素的影响下贡献度有所不同，PRE和RHU的低值往往使得该区域为正激活区域，而PET和TM的低值区往往呈现为负激活。

6.2创新点

（1）截至目前，已有多种研究针对于干旱预测，但多数都集中于月尺度甚至更长的时间尺度上，干旱的中短期预测相对较少。本研究的重点则集中在了干旱的日尺度预测上，可以有效地应对突发性干旱事件。且此前对于干旱的预测较少考虑到研究区周边地理环境的影响，本研究在进行干旱预测时不仅在时间序列上考虑到了多种气象要素对汾河流域干旱的影响，还在空间范围上考虑了黄淮海流域内不同气象要素分布特征的影响，使得干旱预测的结果更为科学有效。（2）深度学习的可解释性已在部分领域展开研究，但目前针对干旱预测的相关应用还较少。本研究中采用了深度学习可解释性方法分析了不同预测因子以及黄淮海流域不同区域在汾河流域干旱预测过程中的影响。

6.3讨论与展望

本研究采用了深度学习方法对汾河流域的干旱状况进行了预测，深度学习方法已在气象领域得到了广泛的应用，综合考虑多种因素影响的优势使其擅长解决天气预报等时间序列预测问题，也成为了对干旱进行预测的有效工具[131, 132]。此外，传统的数值天气预报（Numerical Weather Prediction，NWP）面临着资源耗费严重、计算成本高昂等诸多挑战，而深度学习方法则在多方面弥补了NWP的不足[133]。尽管深度学习方法在预测领域有着诸多优势，可以有效地对干旱进行预测，但在研究过程中仍然存在一些值得深入探讨的问题。

本研究对于汾河流域未来10天的干旱状况做出了连续预测，并选用了多个评价指标，从预测结果来看，无论是基于时序神经网络模型的深度学习方法还是基于时空神经网络模型的深度学习方法，其预测的精度会随着预测时长的增加而降低，模型在连续10天的预测中预测值和真实值的R始终较为稳定，但就NSE评价指标而言，模型在长期的预测中没有表现出高可信度。结合此前相关研究进行分析，这一现象也是可以接受的模型的误差会随着预测时长的增加不可避免的变大[134, 135]。

TFR模型是以自注意力机制为基础的深度学习方法，随着深度学习在预测领域的发展，该方法也成为了相关领域的有效工具，相较于传统方法，TFR模型可以获得更好的预测效果[136, 137]。但在本研究中基于时序神经网络的干旱预测也存在一定的局限。LSTM模型相较于传统RNN的优势在于其有效缓解了梯度爆炸以及梯度消失问题，但顺序计算的方式依然导致超长序列数据存在信息缺失问题。TFR模型和IFR模型的整体表现相对稳定，其优势主要体现在长时序预测中。自注意力机制通过并行运算的原则可以很好的捕获长序列数据中的特征，但其特有的计算方法也高度依赖海量的训练数据，这也意味着更高的训练成本[138]。从预测结果来看，本研究的局限主要在于所能提供于训练的日尺度气象要素数据相对有限，而自注意力机制并行计算的原则需要依托于大量的训练数据，这也在一定程度上限制了模型性能的发挥。同时，自注意力机制复杂的运算方式极大的提升了模型的训练成本，且TFR模型和IFR模型在短期预测中的优势并不明显，预测精度甚至低于biLSTM模型。此外，参数量的急剧增加使得模型的运算过程更难捕捉，模型的可解释性能力相对薄弱[139]。

在基于时空神经网络对汾河流域进行预测的研究中，使用了影响干旱的关键变量和研究中的全部变量这两组不同的数据对模型进行训练并对结果进行了对比分析，在关键变量的选取上，实验主要考虑到PRE和PET是计算SAPEI干旱指数的重要变量，也是反应地表水份盈缺的重要因素[40]，VPD则综合考虑了RHU和TM的影响，对生态系统的结构和功能具有重要意义[84]。因此在EXP4中将PRE，PET以及VPD三个变量作为影响干旱的主要变量，但这并不意味着其余气象要素诸如TM或SSD对干旱影响不大，RHU同样在干旱预警中起着重要作用，相较于PRE，RHU具有更好的空间连续性且异常值较少[140, 141]，而Sun等人[142]的相关研究中也表明了气温变化与干旱有着密切联系。第四章节的实验中加入TM等气象要素并没有进一步提升模型的预测精度，气象要素的不断加入对模型预测结果的改善是有限的[52, 125]，预测因子的选择在干旱预测中也是尤为重要的[143]，探究影响干旱的因素以及不同预测因子间的相互作用也有助于进一步提升干旱预测的准确性[71]。此外，在本研究中PET和VPD的计算过程包含了多个气象要素，其物理意义是PRE等独立气象要素难以体现的。通过EXP7和EXP10的实验结果可以得出，综合气象要素诸如SAPEI和PET的加入显著地提升了模型干旱预测的准确度，但这也导致模型的训练数据之间并不是相互独立的，模型精度的提升也依赖于数据的重复使用。

本研究基于时序神经网络的深度学习模型和基于时空神经网络的深度学习模型在进行干旱预测时首先面临的问题就是制作对应的标签以供模型训练，而实验在制作干旱预测标签的过程中选择了计算汾河流域SAPEI的均值以反映出研究区整体的干旱情况，但该过程也弱化了极端值的影响，使研究存在了一定的局限，对模型进行改进使其对汾河流域不同区域分别进行预测，进一步优化模型在实际情景下的应用也是今后研究改进的方向。

本研究在深度学习模型预测的基础上使用到了XAI方法，SHAP模型可以分析出不同预测因子在干旱预测过程中的重要程度以及各预测因子产生的不同影响。但在目前的研究中该方法还存在一定的局限性，较为明显的是计算效率低，SHAP模型分析预测因子所耗费的时间要远高于模型训练时长，该方法需要模型进行多次迭代[144]。此外，SHAP模型在识别预测因子的重要性时也存在一些问题，SAPEI作为干旱预测过程中最为重要的预测因子在模型的输出中占比极大，在一定程度上影响了其余辅助预测因子的输出，弱化了各因子之间的差异。在神经网络的可解性分析中，实验主要基于LSTM模型和A_CNN模型，探究了不同气象要素在干旱预测过程中的影响。基于自注意力机制的深度学习方法相较于传统模型而言可以对干旱做出更为精准的预测，但参数量的急剧增加也进一步提升了解释模型机理的难度，之后的研究中可以尝试引入新的可解释性方法来分析基于自注意力机制模型预测过程中预测因子的影响。

从不同预测因子对于干旱影响的贡献度排序来看，在距离预测目标不同的时期预测因子的影响会发生变化。就TM和PRE而言，此前的研究表明二者的变化会综合影响干旱的严重程度[145]。Wang等人[146]也在研究中指出PRE会对黄河流域干旱的发生起主导作用。在本研究中距离预测目标的前一天，PRE是四个辅助预测因子中贡献最高的预测因子，而随着时间变化TM的贡献逐渐超过了PRE。PRE的变化会及时的对干旱产生影响而TM的贡献则存在延时，当日TM的变化会影响到未来几天甚至几十天的干旱状况。PET综合考虑到了TM和PRE的影响，而从SHAP模型的输出结果来看，模型弱化了PET的贡献。

从EG方法计算历史输入30天的时间序列不同预测因子重要性得分可以看出预测因子贡献度会受自身值变化的影响。在临近预测目标时，EG方法可以有效地识别出不同预测因子变化的影响而当时间远离预测目标时预测因子的重要性几乎没有变化，EG方法无法做出准确的识别。在今后的研究中需要进一步提升EG在历史输入时间序列识别的准确性。

本次实验在考虑影响干旱的因素时主要集中在自然因素，这也是研究可以进一步改进的地方，人类活动对干旱的影响同样不容忽视[147-149]。人类的发展，土地利用类型的转化都会影响到一个地区的气候变化[150, 151]。在之后的研究中可以尝试综合考虑自然因素和人为因素以进一步明确造成干旱的原因，为干旱的早期预警提供有效帮助，同时提升干旱预测的准确性。