As a reader --> On the Robustness of ML-Based Network Intrusion Detection Systems： An Adversarial and Distribution Shift Perspective

• 📌论文分类Ⅰ：
  [综述]深入研究了基于机器学习的NIDS对对抗性攻击和分布转移场景的鲁棒性方面问题
  
  • 论文名称 On the Robustness of ML-Based Network Intrusion Detection Systems： An Adversarial and Distribution Shift Perspective
    
  • 作者 Wang M, Yang N, Gunasinghe D H, et al.
    
  • 期刊名称 Computers, 2023, 12(10): 209.
    
  • 简要摘要
    由于当前机器学习模型对各种威胁的固有敏感性，将基于机器学习(ML)的方法用于网络入侵检测系统(NIDS)引起了有效的关注。特别值得关注的是与机器学习相关的两个重大威胁：对抗性攻击和分布转移。尽管人们越来越重视机器学习的鲁棒性研究，但目前的研究主要集中在解决具体的挑战上。这些研究倾向于针对鲁棒性的一个特定方面，并提出创新的技术来增强该特定方面。然而，作为一种应对突发情况的能力，机器学习的鲁棒性在每个阶段都应该得到全面的构建和维护。本文的目标是将整个ML工作流程中的各种努力联系起来，以指导基于ML的NIDS的设计，并具有系统的鲁棒性。为了实现这一目标，对迄今为止在增强目标NIDS应用任务的稳健性方面取得的进展进行了系统的评估。具体来说，本文深入研究了基于机器学习的NIDS对对抗性攻击和分布转移场景的鲁棒性方面。对于每个方面，组织调研了基于ML工作流的鲁棒性相关挑战和技术解决方案的文献。例如，介绍了一些可以提高鲁棒性的高级潜在解决方案，如数据增强、对比学习和鲁棒性认证。根据调查，确定并讨论了机器学习鲁棒性研究在NIDS领域的差距和未来方向。最后，强调在基于ML的NIDS的整个生命周期中构建和修补健壮性是至关重要的。
  • 关键词 network intrusion detection systems; robustness; machine learning; adversarial attacks; distribution shifts
    
  • 贡献
    鉴于机器学习中的鲁棒性通常根据上下文和使用场景具有多种含义[13]，对基于机器学习的NIDS的最新鲁棒性研究进行系统调查是很重要的。本文的目标是通过系统地评估迄今为止在特定NIDS应用任务的鲁棒性方面取得的进展来填补这一空白。特别是，从基于机器学习的NIDS在对抗性攻击和分布转移场景中的能力角度研究了鲁棒性。为了深入了解基于机器学习的NIDS的鲁棒性研究，本文通过系统阐述和建模，分析了对抗性攻击和分布转移的鲁棒性之间的异同。
    此外，通过将鲁棒性研究映射到ML工作流的不同阶段来对它们进行分组，以给出结构化的文献综述。此外，本文还强调了NIDS与其他领域在鲁棒性方面的研究差距。最后分析了该领域最突出的研究趋势，并从应用ML方法的角度比较了NIDS与其他领域的差异，这将成为未来基于ML的稳健NIDS的研究方向。
    
    • 不仅强调了基于ML的NIDS的独特特征，以及它们与鲁棒性的相关性(第2.2节)，而且还对现有的调查论文进行了分析，其中包括ML鲁棒性和基于ML的NIDS(第2.3节)。
      
    • 系统地总结了现有基于ML的NIDS稳健性研究的分类(第4.1节)。在分类法中，将鲁棒性研究安排在ML工作流的六个阶段。对于每个阶段，介绍了与对抗性攻击和分布转移方面的鲁棒性挑战或鲁棒性改进方法相关的研究主题。除了基于机器学习的NIDS工作外，还介绍了一些其他领域的先进机器学习研究和技术。
      
    • 分析并总结了主要的结论。最后给出了基于机器学习的NIDS鲁棒性的研究方向。
      
  • ✏️论文内容
    
    • 【内容1】
      
      • ①现有的基于ML的NIDS稳健性研究的分类，以及关于两个主要稳健性观点的更多细节，对抗性攻击(第4.2节)和分布转移(第4.3节)
        

      • 

         

      • 鲁棒性是一个包含在一系列解释中甚至被超载的术语[14]。例如，鲁棒性包含了广泛的方面，包括但不限于测试集上的原始任务性能，在操纵或修改输入上维持任务性能的能力，域内和跨域的泛化，以及对对抗性攻击的弹性。考虑到多方面的健壮性，本文引入了相关的概念，并在图1中给出了一个概念树来说明它们之间的关系。
        Trustworthy：可靠性的ML是指以优先考虑道德因素、透明度(解释)、问责制、公平性和可靠性(鲁棒性)的方式设计、部署和使用的ML模型。机器学习的鲁棒性对应于可信机器学习的可靠性子域。
        Generalization：在机器学习的背景下，泛化是指经过训练的模型对不属于其训练集的新的、看不见的数据做出准确预测的能力。根据未见数据所属的数据域/分布，文献[15]中提出了两种泛化情况。第一种情况被称为域内(ID)泛化，其中未见数据从与训练数据集相同的域/分布中采样。对于第二种情况，模型正确推断从不同域/分布采样的未见数据的能力表示为域外(OOD)泛化。通常情况下，OOD泛化基本上与对分布移位的鲁棒性相同。
        Distribution shifts：分布移位是指ML模型的输入数据与训练数据的源分布不同的现象。
        Adversarial attacks：对抗性攻击是机器学习的一个弱点，在输入数据中添加故意制作的，微小的，难以察觉的扰动，导致训练模型错误分类或产生意想不到的输出。
        
        • 由于数据格式不同，NIDS面临的潜在鲁棒性挑战也不同。一方面，使用图像数据格式的基于机器学习的NIDS方法容易受到虚假相关性的影响。这些方法将原始网络数据包字节转换为图像像素；在这种情况下，由同一攻击工具生成的一些恶意通信流的有效负载具有类似的模式。与正常流量不同的模式可以被识别为虚假相关性，并损害鲁棒性。另一方面，使用表格格式的基于ML的NIDS方法对特征分布变化更为敏感，更改部署环境或时间漂移将导致显著的性能下降。
          
        • 本文重点研究了与基于ML的NIDS模型的鲁棒性相关的研究。提高健壮性需要在ML应用程序生命周期的多个阶段进行协调工作，包括数据处理、健壮模型开发、异常监控和风险审计。相反，任何单个环节或方面的信任崩溃都会严重损害整个系统的整体可信度。因此，在人工智能系统生命周期的所有阶段保持信任的整体方法对于确保其可靠性和完整性至关重要[25]。
          
      • 💡思路
        

      • 

      • 考虑到ML模型的鲁棒性不是一次性的成就，而是一个需要警惕、更新和评估的持续过程，本文组织文献综述部分(第5节和第6节)遵循ML工作流程的顺序阶段。图2列出了与鲁棒性相关的研究主题，其中包括对抗性攻击和分布转移的挑战和解决方案，以及这些研究主要工作的阶段。
        在机器学习工作流程中，有六个主要阶段：
        (1)数据收集和处理; (2)模型结构设计; (3)训练和优化; (4)微调(可选阶段); (5)评估; (6)应用推理。
        从模型鲁棒性的角度来看，考虑将模型权值的获取作为一个分离点，因为一旦训练完成，模型的鲁棒性就大致确定了。因此，将前三个阶段组合在一起，因为在这些阶段中，鲁棒性被构建到学习模型中。此外，将剩下的三个阶段组合在一起，因为在这些阶段中模型的鲁棒性仍然可以修补。
        在研究基于机器学习的NIDS模型的稳健性时，在工作中考虑了两个主要的模型案例。
        案例A：针对特定应用程序网络环境或场景进行了良好训练的ML模型。
        案例B：一个ML模型，目的是学习入侵检测的一般知识。
        
      • 由于训练和部署目的不同，这两种模型的鲁棒性应满足不同的要求。
        
        • 对抗攻击：投毒/逃逸，白盒/黑盒/灰盒，特征空间/流量空间
          
        • 分布变化：将导致ML模型失败，例如准确性降低。由于数据与源分布不同，通常用来表示对分布移位的鲁棒性的另一个术语是分布外(OOD)泛化。
          
        • 对于不同的数据类型，通常根据原因将分布移位划分为不同的子类型[30]。
          
          • 表格式：对于许多使用表格式数据的ML应用，如价格预测，有三种数据分布移位[31]。给定输入X和它们的标签Y，训练数据可以看作是分布P(X,Y)的一组数据样本。P(X)表示输入的概率密度，P(Y)表示标签的概率密度。标签漂移、协变量漂移和概念漂移的特征图中给出。
            
          • 图像和文本：对于现实世界中处理图像或文本数据的机器学习系统，如目标检测、自动驾驶和聊天机器人，即使是在全面的大型数据集上预训练的基础模型，也可能无法解决分布转移问题[32]。由于图像和文本比表格数据包含更丰富的背景信息，因此分布位移的类型更加复杂。两种类型的特点如下:
            
            • 虚假相关性是指特征和标签之间的统计关联，这些特征和标签在训练分布中表现出预测能力，但在测试分布中却无法约束这种预测能力[33]。
              
            • 时间(概念)漂移和知识外推是指语言变化和世界知识变化，这是远远超出训练分布的看不见的数据。
              
          • 网络流量：有许多因素可能导致网络流量数据的分布变化，例如网络环境的变化、用户行为随时间的变化以及新的高级协议版本。此外，由于目前基于ML的NIDS方法可以处理不同类型的数据，包括表格[4]、图像[34]和序列[35]，因此网络数据的分布变化具有复杂的组成。尽管各种类型的分布转移对基于机器学习的网络入侵防御系统的鲁棒性提出了挑战，但与基于机器学习的网络入侵防御系统中的分布转移或网络流量分析相关的研究尚未得到足够的重视。现有文献[36]只关注一种类型的移动原因，如时间漂移。
            
      • ML鲁棒性模型
        
        • 在对抗性攻击中，将小扰动(r)添加到输入数据中。因此，模型的鲁棒性与需要给予输入数据以改变输出的最小扰动有关。
          
        • 随着分布移位，一组数据可能会产生错误的输出，而其余的数据点仍然会产生正确的结果。因此，鲁棒性与输入的平均移位有关，与分布移位引起的平均损失成反比。
          
    • 【内容2】
      
      • ②侧重于内部鲁棒性挑战和改进鲁棒性的内置方法
        以数据点与决策边界的分离最大化为目标来训练模型的好处是一致的。这种方法增强了模型抵御对抗性攻击和分布变化的弹性。为了实现这一目标，为获取平衡良好的数据、增强原始数据集以及随后使用这些丰富样本进行训练付出额外的努力变得至关重要。
      • 💡思路
        
      • Data Collection and Processing：考虑到基于机器学习的NIDS严重依赖于数据，数据收集和处理过程中的任何不准确性都可能在鲁棒性方面产生漏洞。因此，许多研究也旨在提高这一阶段的鲁棒性。
        
        • 对抗性挑战和响应：如果通过引入非常小的扰动来操纵输入数据以提供不利的结果，则模型的鲁棒性非常低。
          
          • 讨论：针对基于ML的NIDS投毒攻击的研究主要集中在FL和IoT场景。与逃逸攻击相比，中毒攻击受到的关注较少。显然，由于缺乏数据访问，发起投毒攻击比逃逸攻击更困难。注意到现有的防御机制有一个共同的特点：既保护数据又保护模型。为了减轻中毒攻击的影响，仅仅保护数据可能是不够的，因为只改变训练数据的一小部分就会影响NIDS模型的行为。因此，需要模型训练保护来防止损害全局ML模型。
            
        • 分布转移的挑战与响应：如果映射可以将数据点移动非常小的量，导致更大的损失，那么该模型被认为具有非常小的鲁棒性。
          
          • 讨论：虽然解决数据不平衡问题确实是网络安全领域的一个关键挑战[51]，但它与鲁棒性主题并没有直接关联。针对不平衡数据的数据增强侧重于提高模型在这些罕见类数据上的性能，而不是改善OOD泛化，尽管它们基于原始数据生成合成网络数据的方法对于这两种类型的网络数据增强都是必不可少的。
            
          • 基于对网络流量数据特征的分析，本文认为流量数据增强面临着以下挑战：
            
            • 主流数据格式-表格数据：大多数基于ML的NIDS使用表格格式的统计特征进行检测。但是修改特征值是非常危险的，并且很难验证增强的样本是否真实。
              
            • 结构化原始数据包：网络数据包是为不同类型的协议和业务而设计的。但是在每一种单独的流量类型中，分组结构是明确定义的。这意味着与图像不同，网络数据增强必须只发生在不会违反构造规则的原始数据包部分。
              
            • 灵活的原始数据包：对于网络数据包，不仅可以修改原始字节的值，还可以修改数据包的长度。每个数据包的灵活性进一步以指数方式影响其所属的流量。这种灵活性使得在增强过程中很难保留原始数据中与标签相关的特征。
              
      • Optimization
        
        • 对抗性挑战和响应：对比学习与对抗学习
          
        • 分布转移的挑战与响应：对比学习
          
    • 【内容3】
      
      • ③侧重于外部鲁棒性挑战和改进鲁棒性的修补方法
        对对抗性攻击和分布移位的鲁棒性都与数据点和决策边界之间的距离有关。在微调、评估和应用推理阶段，操纵或测量距离可以提高或评估机器学习模型的鲁棒性。
      • 💡思路
        
      • Fine-Tuning：预训练模型通常通过一个称为微调的过程来改进。这包括利用现有模型参数作为基础，并在新数据上附加一个从头开始训练的任务特定层[58]。微调是ML工作流程中的一个可选阶段，它也会影响关于鲁棒性需求的假设。
        对于预训练模型和微调模型，需要注意的是它们具有不同的鲁棒性要求。预训练模型通常在广泛和多样化的数据集上进行训练，需要对环境和任务引起的分布变化以及时间概念漂移具有鲁棒性。但是，不应该要求微调模型对由不同环境引起的分布变化具有鲁棒性，但仍然应该对对抗性攻击和概念漂移具有鲁棒性(例如，基于机器学习的NIDS模型使用从目标网络环境收集的新数据集进行微调，该NIDS将在其中工作)。
        • 对抗性挑战和响应：对抗性微调
          
        • 分布转移的挑战与响应：领域自适应
          
        • 讨论：尽管许多研究[66,67]表明微调会降低模型的鲁棒性，但其他NLP研究[68,69]得出了相反的结论。
          
      • Evaluation
        
        • 对抗性挑战和响应：基于随机平滑的鲁棒性认证，鲁棒性认证研究旨在证明基于ML的分类器对对抗性攻击/扰动的鲁棒性。
          
          • 讨论：基于随机平滑的鲁棒性认证方法利用大量的噪声数据样本来估计模型对对抗性攻击的鲁棒性。因此，它与数据增强类似，都是对原始数据样本进行修改。然而，他们的差异也很显著。首先，大多数数据增强方法使用变换，这与添加噪声有本质区别。其次，许多数据增强方法被实验证明是广泛有效的，但基于随机平滑的噪声增强再训练如何精确地影响鲁棒平滑分类器的风险尚未得到全面解决。最近的研究[72]报道，噪声增强再训练的好处只能通过一些具有特定特征的分布来获得。
            
        • 分布转移的挑战与响应：数据集间评估
          
          • 讨论：训练定制的基于ML的NIDS对于某些至关重要的网络环境是可以接受的，即使足够的数据收集和注释是非常昂贵的。然而，可转移性对于网络协议和服务以及基于ML的NIDS也很重要。从ML研究的角度来看，训练ML模型来学习通用知识，这些知识可以在不同的场景中重用，是每个领域的长期目标。在这种情况下，开发相应的评估方法对于提供反馈信息至关重要。
            
      • Application Inferences：应用程序推断是指在实际应用程序场景中部署经过训练的基于ML的NIDS模型的阶段。在应用推理阶段，已部署的入侵防御系统的鲁棒性面临恶意对抗性攻击和不可避免的分布转移的严重威胁。
        在对抗性攻击方面，许多研究都集中在采用各种基于ML的方法来生成针对NIDS的攻击。另一方面，许多工作提出了通过引入额外的对抗性检测器来防御对抗性攻击的解决方案。
        对于分布转移方面，由不同原因引起的挑战通常单独命名，例如，数据随时间的移动被称为概念漂移。由于网络是一个动态环境，网络流量是流数据，因此概念漂移在网络入侵入侵分布漂移研究中受到了最多的关注。此外，由于使用NIDS的方式发生了重大变化，例如预处理中不同的流持续时间阈值设置，也会发生分布转移。同时，针对分布转移问题，提出了对移位输入进行检测和自适应的研究。
        • 对抗性挑战和响应：在应用推理阶段，基于机器学习的网络入侵防御系统的鲁棒性面临规避对抗攻击的严峻挑战。这些攻击对系统的安全性构成严重威胁，因为它们涉及故意操纵恶意流量以逃逸检测并破坏目标网络的完整性。近年来，在应用推理阶段设计更真实的网络入侵防御逃逸攻击受到越来越多的关注。现实的对抗性攻击通常设计为基于对现实世界nids工作流程设置的实际假设的流量空间中工作。然而，如何在应用推理阶段保护NIDS免受对抗性攻击的研究却很少受到关注。
          逃逸攻击：从计算机视觉(CV)领域获得灵感[18]，针对NIDS的对抗性攻击在预处理和输入空间方面表现出差异。与CV中的对抗性攻击直接干扰图像的像素值不同，针对NIDS的对抗性攻击需要干扰特征空间或流量空间中的数据样本。
          对抗性样本检测：对NIDS模型应用推理阶段的对抗性攻击，提出了对抗性样本检测方法。对抗性样本检测的目的是在将对抗性样本输入NIDS模型之前对其进行过滤。
          
          • 讨论：对抗性样本检测通常被认为是“最后一道防线”，因为它是在模型被训练和部署之后操作的。即使机器学习模型经过了强大的训练，它仍然容易受到对抗性攻击。对抗性样本检测试图在推理时捕获此类攻击。然而，基于机器学习的NIDS的对抗性样本检测并没有得到足够的重视。虽然对抗性样本检测很重要，但它也存在一些缺点：(1)需要额外的对抗性样本分类器，但NIDS需要高效地监控网络流量；(2)与最近出现的实际流量空间攻击不同，现有工作仅评估基于某些假设的特征空间对抗性攻击，并且将扰动样本与干净数据区分开来[18]。
            
        • 分布转移的挑战与响应：分布转移(不同类型)的可能原因有:1.数据表示(如特征选择、处理配置(人工阈值)); 2. 数据收集(人为偏差，收集不完整); 3. 应用场景变化; 4. 概念漂移，p(x|y)变化。概念漂移是指目标领域的统计属性随时间以不可预测或任意的方式变化的现象[87]。
          
          • 概念漂移：基于机器学习的网络入侵防御系统作为实时检测系统，在监控网络流量时面临着概念漂移的挑战。与对抗性攻击不同，概念漂移通常是由高层环境中一些自然的潜在变化引起的。因此，为了对抗概念漂移，基于机器学习的网络入侵防御系统不仅需要进行概念漂移检测，还需要进行概念漂移自适应。作为一个被充分研究的主题，许多概念漂移检测(基于窗口和基于性能的方法)和自适应(自适应算法、增量学习和集成学习)方法已经在其他ML领域被提出[22]。最近关于概念漂移的NIDS研究侧重于设计综合框架来提高对概念漂移的鲁棒性，而不是只研究检测或自适应。[88-91]
            
          • 应用场景变化(数据分布变化)，除了概念漂移(主要指动态环境引起的时间变化)外，基于ML的NIDS更迫切的研究领域是空间视图的分布变化。考虑到大多数NIDS数据集是在特定环境中收集的，但预计将用于训练部署在不同环境中的ML模型。NIDS研究是以这样一种方式进行的，即在同一数据集中训练和测试NIDS模型对于现实世界的应用是不实际的，因为这种类型的评估性能不能代表实际世界中模型的质量。实际上，切换数据集导致的数据分布偏移与应用场景变化导致的数据分布偏移相同。但是，应用场景的变化发生在不同的层次，例如，从一般互联网的NID到物联网(IoT)的高层变化，或者从属于大学的网络环境到属于公司的网络环境的低层变化。理想情况下，基于ML的NIDS研究的长期目标是构建ML模型学习通用和通用知识的能力，这些知识可以很容易地在不同的场景中重用。
            
          • 讨论：对于基于ML的NIDS，提高鲁棒性应该考虑一次性学习(跨领域)和终身学习(概念漂移)。一次性学习包括在从不同领域或网络环境获得的不同数据集上训练模型。这一点至关重要，因为现实世界的网络流量来自不同的来源，每个来源都具有不同的特征。如果NIDS仅在一个狭窄的数据集或领域上进行训练，那么在遇到不熟悉和未预料到的数据时，它的性能可能会受到影响。终身学习指的是模型随着时间的推移不断适应和学习数据分布的能力。在NIDS领域内，可能会发生网络流量模式和攻击方法(概念漂移)的变化。一个有弹性的网络入侵防御系统必须具备识别在初始训练阶段之后出现的新攻击模式的能力。
            
  • 参考文献
    
    • 根据表2，进一步讨论了当前基于ML的NIDS领域中有限的技术，但这些技术可能为提高鲁棒性带来潜在的机会。重点介绍四种技术：对比学习、鲁棒性认证、对抗性样本检测和数据增强。

    • 

      
      
      • ①Contrastive Learning for NIDSs
        为了将典型的监督学习目标扩展到自监督学习，使其能够在类不平衡的情况下使用较少的标签进行学习，并且具有更好的与标签无关的初始特征信息，需要对网络流量的自动特征提取和数据增强技术进行新的研究。当自监督学习进行有效的初始化时，模型可以从预训练中获益，并最终学习到更通用的网络流表示。从根本上说，在连续特征空间中识别有意义的保守特征可能更具挑战性。在公认的保守特征列表中，适度的差异在多大程度上起作用也是一个尚未解决的问题。
        通过使用一致和全面的行为特征集来提高网络流数据的表示能力，可以实现更好的数据驱动的NIDS解决方案。此外，为更通用的NIDS研究一种通用的端到端方法，这可能会大大减少系统实现的挑战，也是未来的另一个研究方向。可以预见，领域信息可以提高特征依赖关系搜索的精度。因此，包括领域知识来补充数据驱动的方法来发现相关的特征依赖关系是未来研究的另一个有趣的途径。
        
      • ②Robustness Certification for NIDSs
        健壮性认证为部署基于ML的NIDS提供了大量机会。这个认证过程从理论上确定了基于机器学习的NIDS模型是否满足特定的鲁棒性标准。目前的鲁棒性认证方法侧重于量化DL模型对对抗性攻击的鲁棒性。特别是，鲁棒性认证可以估计测试数据样本的鲁棒半径，这些样本是通过在原始输入中加入可调噪声而产生的。除了提到的随机平滑，其他方法，如a-CROWN, b-CROWN，尚未在基于ML的NIDS领域进行探索。除了量化和保证模型内鲁棒性之外，鲁棒性认证还可以作为连续监视器，帮助额外的对抗性样本检测器在将对抗性输入馈送到ML模型之前过滤对抗性输入。
      • ③Adversarial Example Detection for NIDSs
        考虑到特定ML应用场景的准确性和鲁棒性之间的权衡是众所周知的[5]，对于一个实际的基于ML的NIDS来说，准确性或鲁棒性的下降是无法忍受的。因此，一个额外的对抗性过滤器是必要的，但必须考虑到一些独特的要求。进一步的研究方向是如何设计一个实时的对抗样本检测。否则，额外的组件将成为阻碍NIDS效率的新瓶颈。另一个是NIDS的对抗性样本检测必须能够同时分析基于特征的对抗性攻击和基于流量的对抗性攻击。鉴于网络流量数据的唯一性，在设计对抗样本检测系统时，应考虑不同数据格式的对抗攻击和攻击检测方法的差异。
      • ④Data Augmentation for NIDSs
        上述的对抗样本对比学习、鲁棒性认证、对抗样本检测，都涉及到生成合成网络数据或对抗网络样本，可以表示为数据增强。数据增强是一种广泛应用于各种ML任务的技术;然而，网络数据扩充从根本上来说是困难的，因为NIDS现有的各种可能的数据格式具有唯一性。因此，本文认为未来网络数据增强的方向是设计特征级、有效载荷级、分组级和流量级的综合增强方法。
  • 总结
    
    • 本文认为鲁棒性至少应该与功能性能(如准确性)同等重要。考虑到机器学习鲁棒性的基本方面，在基于机器学习的NIDS的整个生命周期中，构建和修补鲁棒性对于保证它们在实际部署中的可靠性是必要的。还想强调的是，稳健的预训练NIDS模型可能是构建稳健的基于ML的NIDS的良好起点。对于预训练的NIDS模型，鲁棒性应该比准确性更重要，因为NIDS任务容易受到概念漂移(例如零数据攻击)的影响。本文认为，鲁棒性的探索是一个持续的努力。在基于机器学习的NIDS环境中，要达到实际部署的门槛，仍然需要大量的努力。