响应式机器学习-全-

响应式机器学习（全）

原文：zh.annas-archive.org/md5/a3214400d59f5e668873d50d7c41ef50

译者：飞龙

协议：CC BY-NC-SA 4.0

前言

机器学习（ML）坐落在商业应用、统计学和计算机科学的交汇处。在其大约 60 年的历史中，它经历了几波炒作和失望。这是一个庞大而技术性强的主题，也是一种强大的商业技术。然而，与其他强大的技术一样，它既带来机遇也带来挑战。它可以是工具，也可以是武器。它可以带来收入，并且在某些情况下，可以改变组织。但它也可能失败、遭到攻击，并引发重大事件。从我们的角度来看，大多数机器学习社区似乎过于关注 ML 的炒作和优势。当我们只关注技术的优势时，我们就背弃了必须解决的明显现实。也许这就是为什么我们觉得写一篇名为负责任的机器学习的报告有些奇怪。毕竟，我们不经常听到“负责任”的航空或“负责任”的核能。责任和风险缓解通常已经融入我们对这些技术的概念中，但显然对于机器学习尚未发生。这可能是因为我们知道商业喷气客机或核反应堆出现故障或受到攻击时会发生什么，但作为一个社区，我们对糟糕的 ML 的后果尚不确定。

如果是这样，这就暴露出从业者社区的不作为。尽管 ML 失败和攻击的后果刚刚开始进入新闻报道，但如果你知道在哪里找，你已经可以找到超过 1,000 个AI 事件的公开报告。此外，政府和公众对诡异和歧视性 ML 的认识也在增加。深挖 ML 炒作的表面之下，你将发现整个 AI 事件世界、AI 监管的待定和 ML 风险缓解工具。本报告介绍了这个世界。由于有很多问题需要涵盖，我们不会对任何主题深入探讨。我们希望感兴趣的读者能参与并探索我们的参考资料，了解现实世界的影响和真正的人类后果。我们也希望所呈现的材料的数量和多样性能够对读者思考 ML 的方式留下不可磨灭的印象。

我们将风险缓解和机器学习采纳策略的讨论分成三大章节：人员、流程和技术。人员和流程章节（第二章和第三章）描述了人们可以采取的行动，以及组织可以采用的流程来缓解机器学习风险并增加机器学习的采纳率。这两章旨在面向非技术人员。虽然它不包括数学公式，但技术章节（第四章）需要一些机器学习的技术背景，可能更适合机器学习从业者及其一线管理者。同样重要的是，我们要说的是，我们正在解决的机器学习风险是复杂的、未解决的，并且具有交叉性。考虑到机器学习系统的复杂性及其与世界的互动方式，没有完全解决 ML 系统风险的万能方案。

此外，印刷报告的连续性意味着我们逐一解决风险和缓解策略。事实上，风险和策略本质上是相互关联的：遵从性、歧视、不稳定性、隐私和安全风险是相关的，采取的行动也是如此。由于组织的部署通常是机器学习风险变得真实的地方，适当的风险缓解是机器学习成功的关键问题。尽管不完美，我们希望您会发现提议的策略对减少风险并最大化机器学习在您的组织中的长期价值是有帮助且可行的。

第一章：介绍负责任的机器学习

“成功地创造出有效的人工智能可能是我们文明史上最重大的事件。或者是最糟糕的。”

斯蒂芬·霍金

机器学习（ML）系统可以为各行各业的组织节省和赚取资金，它们是许多组织数字转型计划的关键方面。因此，ML 的投资在 COVID-19 危机前增长迅速，而且在情况发展过程中它们的增长预期依然健康。然而，ML 系统对操作者、消费者和公众都存在风险。在很多方面，这与旧一代变革性商业技术（如喷气客机和核反应堆）相似。像这些技术一样，ML 可以自行失败，或者被对手攻击。与一些旧的变革性技术不同的是，尽管越来越多的证据表明 ML 可能造成严重危害，ML 从业者似乎并不认为风险缓解是他们工作的主要指令¹。

常见的 ML 故障模式包括不可解释的黑盒机制、社会歧视、安全漏洞、隐私危害以及系统质量随时间的衰退。大多数 ML 攻击涉及内部人员操纵训练数据和模型机制；外部对手操纵预测或知识产权抽取；或隐藏在第三方数据、模型或其他工件中的特洛伊木马。当故障或攻击失控时，它们会演变成全面的 AI 事件，对操作者或公众造成重大不利后果。到目前为止，已有超过 1,000 起 AI 事故报告。

虽然 AI 事故最近在新闻和技术媒体上受到了更多关注，但围绕 ML 的炒作似乎主要集中在 ML 的成功上，而不是 ML 的风险上。因此，一些决策者和从业者在没有理性评估其危险性的情况下实施 ML。本报告将消除炒作，提供 ML 新兴风险缓解实践的高层概述，通常被称为“负责任的机器学习”。本章将提供负责任人工智能和 ML 的定义，第 2、3 和 4 章将分别讨论人员、流程和技术的可行 ML 风险缓解步骤。第五章以业务驱动的视角结束本报告，关于风险和信任的问题。

什么是负责任的机器学习？

什么是负责任的机器学习？它还没有严格的定义，本报告的作者也不打算精确定义它。负责任机器学习的概念需要时间与来自不同从业者、研究人员和决策者的输入共同演化和发展。我们希望，就像今天的商业航空和能源生产一样，风险缓解最终将成为机器学习实践的核心，不再需要区分机器学习的一般实践和负责任机器学习的实践。因此，我们没有提出一个单一的定义，而是提出了几个潜在的定义，并讨论了它们之间的一些主要相似性和差异，以增强社区对这一重要概念的意识。

负责人工智能

几位研究人员和组织提出了有关“负责任人工智能”的有帮助的相关定义，特别是因为机器学习是人工智能的一个分支学科，而且这两个术语常常可以互换使用，这些定义似乎是一个很好的起点。

在她的书《负责任的人工智能》（Springer）中，Virginia Dignum 定义了这一概念：“负责任的人工智能是关于人类按照基本的人类原则和价值观来发展智能系统的责任，以确保在可持续的世界中人类的繁荣和福祉。”

伦理人工智能与机器学习研究所 提出了八项原则，“为技术人员在设计、开发或维护从数据中学习的系统时提供一个实用的框架”。这些原则包括：

人类增强

人类审查和风险评估

偏见评估

理解、记录和监测社会歧视

解释性通过理由

透明度和解释性

可复制的操作

过程和结果应该是可复制的

替代策略

考虑人类工作替代

实际准确性

实际世界的准确性以及测试数据的准确性

信任与隐私

处理培训数据和消费者数据隐私

数据风险意识

对数据和模型采取合理的安全预防措施

谷歌也提出了负责任的 AI 实践。这些包括使用以人为中心的设计原则，对任何 AI 系统使用多种评估指标，审查原始数据，了解所选方法的限制，并对 AI 系统进行彻底的测试和监控。谷歌只是众多组织中公布此类指导的一个例子，而这些负责任的 AI 准则的简要总结可归结为使用透明的技术机制来创建可上诉的决策或结果，长期可靠的执行，展现最小的社会歧视，并由具有不同人口统计和专业背景经验的人类设计。

本文的作者最近提出了另外两个相关定义。其中一个是高层次概念摘要，另一个是面向一线从业者的。高层次描述使用了一个 Venn 图，显示在图 1-1 中，将负责任的 AI 描述为几个现有和不断发展的学科的结合。

图 1-1. 一个负责任的 AI Venn 图（由本杰明·考克斯和 H2O.ai 提供）。

图 1-1 声称，负责任的 AI 是以下几个方面的结合：

道德人工智能

ML 预测中的社会公平性（即某一类别的人是否被不平等或不利地权衡）

可解释人工智能

开发后能解释模型的能力

以人为中心的机器学习

与 AI 和 ML 系统的有意义用户交互

可解释的机器学习

透明的模型架构以及提高 ML 模型直观性和可理解性的方式

安全的人工智能

与传统软件类似的内部和网络威胁的 ML 模型调试和部署对策

合规性

将您的 ML 系统与领先的合规指南（如欧盟 GDPR、平等信贷机会法案（ECOA）或美国联邦储备委员会的 SR 11-7 模型治理指导）对齐

在接下来的部分，以一种更为技术的定义作为图 1-2 中的工作流程呈现，并从最近的论文A Responsible Machine Learning Workflow with Focus on Interpretable Models, Post-hoc Explanation, and Discrimination Testing.进行了调整。它专门详述了负责任的 ML 的细节。

负责任的机器学习定义

当今世界上大多数 AI 可能基于 ML。为了尽可能谨慎和现实，图 1-2 的工作流程专门设计用于当今的 ML 系统。它指导从业者执行减少与 ML 相关的许多已知风险所需的流程。除了传统的 ML 工作流步骤外，该图强调透明度、人工审查、模型寿命问题以及评估多个关键绩效指标（KPI），包括公平性、隐私和安全性。

对于负责任的人工智能（AI）和机器学习（ML），有许多其他可用的定义涉及广泛的主题，包括从环境影响到未来失业等各种议题。大多数定义中共同的主题包括对风险的人类考虑和审查，使人类能有效地与 ML 系统进行交互，增强透明度以及对歧视、隐私损害和安全漏洞的处理。特别值得注意的是，《负责任的机器学习工作流程》论文和图 1-1 中的 Venn 图，将合规性和法律性纳入负责任的 ML 范畴。根据我们作为行业从业者的经验，我们发现法规和法律可以为在 ML 系统实施过程中出现的困难伦理问题提供一些最清晰的指导。此外，法律性通常是许多高风险 ML 应用的底线关注点。ML 的合规性、法律性和法规，以及负责任的 AI 和 ML 定义中提出的其他几个概念，将在以下章节中讨论。

图 1-2. 一个负责任的机器学习工作流程图（根据作者许可改编）。

¹ 另请参见https://oreil.ly/9hzwC，https://oreil.ly/hFjRY和https://oreil.ly/2T8Kt。

第二章：人：人类在环路中

“人们担心计算机会变得太聪明并接管世界，但真正的问题是它们太愚蠢，它们已经接管了世界。”

佩德罗·多明戈斯

自其成立以来，人们越来越倾向于赋予人工智能和机器学习越来越多的代理权。然而，这不应该是当今部署机器学习的组织的目标。由于我们正在看到的所有人工智能事件，我们坚信这项技术还不够成熟。相反，目标应该是确保人类参与到基于机器学习的决策中去。人类的参与至关重要，因为正如上面的引用所强调的那样，一个非常普遍的错误是企业认为他们的负责任的机器学习职责仅仅在于技术实施。本章节介绍了企业在构建机器学习基础设施时必须考虑的许多人类因素。我们将从组织文化开始，然后转向讨论从业者和消费者如何更多地参与机器学习系统的内部运作。章节最后强调了一些与负责任地实践机器学习相关的员工活动和数据新闻的最新例子。

负责任的机器学习文化

一个组织的机器学习文化是负责任机器学习的一个重要方面。本节将讨论责任、自我使用、有效挑战以及人口和职业多样性的文化概念。我们还将讨论那句看似陈词滥调的话：“快速前进并破坏事物”。

责任

成功缓解机器学习风险的关键是真正的责任制。问问自己：“谁追踪我组织中机器学习的开发和使用方式？谁负责审计我们的机器学习系统？我们有人工智能事件响应计划吗？”对于今天的许多组织来说，答案可能是“没有人”，“没有”。如果在一个机器学习系统失败或遭到攻击时没有人的工作受到威胁，那么可能该组织中真正没有人关心机器学习的风险。这是许多领先金融机构现在雇佣首席模型风险官的主要原因。较小的组织可能无法抽出一个全职员工来监控机器学习模型风险。但是，有一个负责任和被追责的个人或团队仍然至关重要，如果机器学习系统表现不佳。根据我们的经验，如果一个组织假设每个人都对机器学习风险和人工智能事件负责，那么现实情况可能是没有人真正负责。

自我使用

Dogfooding 是软件工程的一个术语，指的是一个组织使用自己的软件，即“吃自己的狗食”。在负责任的 ML 的背景下，dogfooding 带来了额外的 Alpha 或 Prealpha 测试层次，通常在从认为是 ML 黄金热潮中获利的疯狂冲刺中被忽视。更重要的是，dogfooding 可以将法律和风险问题置于前沿。如果一个组织开发了一个操作方式违反他们自己的隐私政策、或者旨在欺骗或操纵的 ML 系统，那么参与 dogfooding 的员工可能会觉得这是不可接受的，并提出关注。Dogfooding 可以将黄金法则引入 ML 中：如果你不会在自己身上使用一个 ML 系统，那么你可能不应该在其他人身上使用它。我们将在下一节讨论多样性，但在这里值得一提的是，如果您的团队更加多样化，dogfooding 更有可能检测到更广泛的可挑剔（或有问题的）特性。

人口统计和专业多样性

许多人已经记录了因 ML 工程师在 ML 系统的培训或结果中未考虑人口统计多样性而可能产生的不幸结果。解决这些疏忽的一个潜在解决方案是增加 ML 团队的人口统计多样性，而其当前令人遗憾的水平。另一种也可以帮助缓解 ML 风险的多样性是专业经验的多样性。根据威斯康星大学的卡尔·布罗曼教授所说，“如果你在分析数据，你正在做统计学” 。ML 在很大程度上是一个数据分析领域，因此它是一个统计学的学科。尽管 Kaggle 的排行榜青睐于单一模型的单一结果，但 ML 系统通常受益于其他数据分析学科（如统计学、计量经济学或心理测量学）的视角。这些领域有丰富的学习历史，可以在几乎任何 ML 项目上发挥作用。安全人员是 ML 项目的另一个有用的技术补充，因为 ML 可能涉及数据隐私和安全问题。

发展具有深度跨学科专业经验团队，在部署机器学习时非常宝贵。许多最成功的量化投资和咨询公司，如麦肯锡或文艺复兴技术公司，以他们如何组建来自物理学、生物学、医学、天文学等领域极其多样化技术背景的精英团队为傲。法律、合规和审计人员在机器学习项目中也可能是必要的。机器学习项目可能会触犯法律、法规或企业隐私政策。从一开始就涉及监督专业人员是评估和减轻这些风险的好方法。机器学习还可能挑战伦理底线，而很少有机器学习工程师具备管理项目穿越不明确伦理道德领域所需的教育或经验。将专业伦理学家引入机器学习系统的开发中，有助于在问题出现时管理道德问题。

文化有效挑战

有效挑战的概念源于模型治理的实践。在构建复杂的机器学习系统时，有效挑战大致表明，确保良好结果的最佳途径之一是积极挑战和质疑机器学习开发过程中的步骤。关于有效挑战还有更多技术方面的内容，将在第四章中详细讨论。但是，鼓励严肃质疑机器学习设计选择的文化，更有可能在问题扩大成人工智能事件之前发现问题。当然，文化有效挑战不能滥用，并且必须适用于所有开发机器学习系统的人员，即使是所谓的“摇滚明星”工程师和数据科学家。根据我们的经验，文化有效挑战实践应该是有结构的，例如每周会议上会质疑和讨论替代的设计和实施选择。

快速前进与破坏

“快速前进并破坏”这句话深深印在许多顶级工程师和数据科学家的心中。不幸的是，当你快速前进并破坏时，事情往往会出问题。如果你在娱乐应用和其广告的领域工作，这可能并不是什么大问题。但假设你在医学、人力资源、信贷借贷、刑事司法、军事或其他高风险应用领域使用机器学习，快速前进并破坏可能会违法或毁了人们的生活。从业者必须意识到其工作的后果和下游风险，而不是为了过时的格言而赛跑追求结果。

传统的模型治理实践提供了防范这些故障的选项，如严格的验证和监控。然而，这些做法需要大量的人力、时间和技术资源。对于处于商业压力下需要快速行动的年轻或较小的组织来说，标准的模型治理可能不可行。常识表明，当迅速行动和打破事物，以及没有传统模型治理时，人工智能事件更有可能发生。因此，如果您需要快速行动和打破事物，AI 事件响应计划对您的组织至关重要。通过 AI 事件响应，正如第三章所讨论的那样，没有资源严格监督机器学习项目的较小组织可以将有限资源用于可以使其快速行动，但也可以面对人工智能事件的方式。从长远来看，为复杂系统故障做好准备可能最终是最快的发展策略。

进入循环

现在我们已经涉及了一些关于负责任的机器学习的文化方面，本节将描述从业者或管理者可以采取的具体步骤，以便更好地控制机器学习系统。截至今天，人类在成功实施机器学习系统中仍然扮演着重要角色。正如本章开头的引用所强调的那样，许多决策者和从业者可能对当今的机器学习系统过于信任。除了有效挑战机器学习设计选择之外，人类对机器学习系统的详细审查是另一种可行的风险缓解策略。模型治理的清单和文档是模型治理的基础，许多最近的人工智能和机器学习最佳实践指南强调了对机器学习系统进行人工审计的必要性。当然，所有这些都需要深入了解数据和问题领域的人员，并且需要构建机器学习系统以便与这些领域专家进行交互。没有领域专业知识，机器学习系统可能会被训练在不正确的数据上，结果可能会被误解，审计也会变得不那么有意义，数据或编程错误可能会演变成全面的人工智能事件。机器学习系统通常也应设计为允许用户提供有意义的反馈，特别是对基于机器学习的决策进行申诉和覆盖，并在必要时切断开关！

机器学习系统的人工审计

随着技术的进步，使得更多幕后透明性、更好的区分和安全性测试机器学习系统成为可能，现在可以促进人类对机器学习的理解和信任。这些技术将在第四章中进行讨论，但这些技术仍然需要人们来部署。这些新技术最好的用途之一是对机器学习系统进行人工审计。在一篇最近的论文中，谷歌的研究人员提出了机器学习模型审计的框架。他们还提出了关于模型和数据的基本样本文档。这些发展是在多年的金融服务垂直模型治理的基础上进行的，其中治理、有效挑战、模型清单、模型文档、模型验证以及多个技术和决策者审查级别已经成为高风险预测模型应用的规范。

您和您的组织可以做什么来促进机器学习系统的人工审计？基本的做法相对简单：

• 创建机器学习系统清单

• 指定负责的执行官

• 进行机器学习系统的行政和技术审查

• 部署机器学习系统之前要求技术和行政签字

• 仔细记录、验证和监控所有机器学习系统

当你准备好超越这些基本步骤时，请查看谷歌研究的参考论文，并查看公共模型风险管理论坛的资源，例如北美首席风险官理事会。

领域专业知识

许多人通过Pandora 推荐算法或类似的内容首次接触到人类专家参与的概念，这最终演变成了一个价值数十亿美元的专家标注和机器学习系统决策审查的产业。更一般地说，机器学习在现实世界中的成功几乎总是需要来自深刻理解问题领域的人类的参与。当然，这些专家可以帮助进行特征选择和工程，以及解释机器学习的结果。但专家们还可以作为一种理智检查的机制。例如，如果你正在开发医学机器学习系统，你应该咨询医生和其他医疗专业人员。普通的数据科学家们如何理解医学数据的微妙和复杂性，以及这些数据训练系统的结果？他们可能做不到，这会导致系统部署时的人工智能事件。在这方面，社会科学也值得特别关注。一些组织被描述为“科技对社会科学的悄然殖民”，它们正在进行一些不明智的机器学习项目，这些项目要么取代了专业社会科学家会做出的决策，要么使用了被实际社会科学家谴责的做法，比如用于犯罪风险评估的面部识别技术。

用户与机器学习的互动

由于机器学习始终是通过软件进行的，因此您组织中的人们可能会通过软件与机器学习结果和成果进行交互。为了最大限度地发挥影响，非技术人员和决策者用户需要理解并采取行动机器学习系统的结果。不幸的是，许多机器学习系统和软件包只生成由高度技术的研究人员和从业者设计的数值输出或视觉效果。在最好的情况下，这限制了组织内能够使用人工智能和机器学习技术的人数。在最坏的情况下，人们可能会误解设计不良的输出，导致流程失败、客户不满意，甚至人工智能事件的发生。在构建机器学习系统时，考虑到将需要与系统交互的不同用户和角色是明智的选择。您的组织可能还应该有合格的用户互动专业人员，以帮助为这些不同的机器学习系统用户构建清晰易懂和有用的界面。

用户吸引力和操作者覆盖

如果一台计算机错误地让你呆在监狱里怎么办？如果一台计算机错误地指控你犯罪怎么办？如果一台计算机让你或亲人错失了梦想中的大学怎么办？您可能希望知道为什么，您可能希望有权利申诉这些决策。从机器学习系统操作者的角度来看，操作者甚至可能希望告诉您决策的制定过程。（在某些情况下，操作者可能有法律义务提供这些信息。）或者操作者可能希望拥有覆盖个别机器学习系统决策的能力。如果所涉及的机器学习系统基于黑箱算法，其操作者可能无法告诉您该决策是如何做出的，他们可能无法及时检查或覆盖这些决策。考虑到“所有模型都是错误的”，至少在某个时刻，所有这些似乎都是灾难的根源。¹在最坏的情况下，黑箱机器学习系统将（不可避免地）发布错误预测，也许速度很快会有很多错误决策。这些错误决策会伤害消费者或公众，而机器学习系统操作者将面临声誉上，如果不是法规上的损害。

这个主题在数据隐私圈中也被称为“干预性”，目前已经被相当了解。因此，您可以采取措施防止您组织的机器学习系统做出不可申诉，可能违法的黑箱决策：

• 使用可解释的机器学习模型或可靠的事后解释技术（最好两者兼有）

• 正确记录这些系统中使用的过程

• 在部署前，对机器学习系统解释能力功能进行细致测试

申诉、覆盖和干预能力的基础问题是透明度。因此，您的组织应了解机器学习决策的制定过程，使操作者能够逻辑地覆盖——消费者能够申诉——机器学习系统的决策。理想情况下，机器学习系统应该为消费者和公众，特别是受到机器学习系统影响的人群，提供整体透明度。这甚至可以涉及用户探测这些系统，提取个体决策背后的推理，并在必要时否定决策。这些类型的申诉和覆盖机制还可以阻止不可避免的机器学习系统错误演变为严重的人工智能事件。

断开开关

一篇最近的《福布斯》文章标题问道，“人工智能会有关机开关吗？” 如果你的组织希望减少机器学习和人工智能的风险，我们希望你的机器学习系统的答案是，“是的”。机器学习系统可以非常快速地做出决策——比人类快得多。因此，如果你的机器学习系统出现严重问题，你将希望能够快速关闭它。但是你又如何知道你的机器学习系统是否在出现问题？机器学习系统应该监控多种问题，包括不准确性、不稳定性、歧视、私人数据泄露和安全漏洞。

一旦发现了严重问题，问题就变成了，你能关闭机器学习系统吗？机器学习系统的输出通常会进入到下游的业务流程中，有时还包括其他机器学习系统。这些系统和业务流程可能具有使命关键性，例如用于信用核准或电子零售产品推荐的机器学习系统。要关闭一个机器学习系统，你不仅需要正确的技术知识和人员，还需要了解该模型在更广泛组织流程中的位置。在进行中的人工智能事故中，不是开始考虑关闭一个致命缺陷的机器学习系统的好时机。因此，杀死进程和杀死开关是你的机器学习系统文档和人工智能事故响应计划的重要补充（参见第三章）。这样，当关闭一个机器学习系统的时机到来时，你的组织可以准备好做出明智的决定。

走向核心：公众抗议、数据新闻和白帽黑客攻击

有时候，仅仅在组织文化的限制内工作或融入到机器学习系统的循环中是不够的。有时，组织在技术上的不负责任会导致员工、记者、研究人员或其他人感到有必要采取极端行动。本章剩余部分将讨论一些最近和相关的示例，包括罢工、抗议、调查数据新闻和白帽黑客攻击。

近年来，技术巨头的员工举行抗议活动，表达对公司关于虚假信息，气候变化，性骚扰及其他重大问题政策的不满。作为大多数科技公司最宝贵的资产，高技能员工的抗议活动似乎确实引起了公司的重视，无论是通过回应抗议者的要求还是对抗议者采取报复行动。近年来，出现了一种令人兴奋的新型机器学习监督方式；最能描述它的可能是极端数据新闻和白帽黑客的混合体。这些行动的催化剂似乎是 2016 年 ProPublica 对称为 COMPAS 的犯罪风险评估工具进行分析。在实质上是一场模型提取攻击中，ProPublica 的记者制作了一个粗略副本的 COMPAS 专有训练数据和黑盒逻辑，并利用这一分析对算法犯罪风险评估中的歧视问题提出了严重指控。尽管分析结果在科学上存在争议，但这项工作引起了广泛关注，使算法歧视问题备受关注，而许可了 COMPAS 的公司后来更名。

在商业技术的外部监督的另一个例子中，麻省理工学院的研究人员在性别偏差项目下进行了多个商业面部识别工具的种族和性别歧视测试。该研究结果于 2018 年公开，并且非常严重。当天的一些领先面部识别技术在白人男性上表现良好，但在有色人种女性上表现非常糟糕。一旦性别偏差的结果公开，公司们不得不要么纠正他们明显的歧视系统，要么为其辩护。尽管大多数公司选择迅速解决问题，亚马逊选择为其 Rekognition 系统辩护，并继续向执法部门授权使用。面对不断增长的公众抗议声，亚马逊和IBM——在性别偏差研究中均有提及——在 2020 年夏季取消了他们的监控面部识别计划。这种揭露机器学习问题的公开尝试继续进行，且可能越来越频繁。2020 年 1 月，沃尔玛的员工向记者爆料称，他们认为防盗机器学习系统存在错误，并在 COVID-19 大流行期间不必要地增加了顾客和员工的接触频率。2020 年 2 月，专注于监督大科技公司的非营利新闻组织 The Markup 在一篇类似于原始 COMPAS 揭露的分析中，声称全球保险利用算法向其最高付费客户收取更高的费率，实质上创建了一个“受骗者清单”。

幸运的是，正如从原始 COMPAS 新闻报道和性别阴影项目的影响可以看出的那样，公众和政府对机器学习风险的日益关注似乎至少在某种程度上影响了组织对 ML 的使用。组织们逐渐意识到，至少在某些情况下，这些类型的事件可能会损害品牌声誉，即使不会影响到财务状况。当我们将讨论重点转移到第三章中的流程和第四章中的技术时，请记住，截至今日，人仍然是几乎任何 ML 或 AI 技术部署中的关键因素。无论是通过培养责任文化，更深入地参与 ML 系统的内部运作，还是采取更激进的行动，你确实可以改变 ML 系统对我们世界的影响。

¹ 著名统计学家乔治·博克斯被认为说过：“所有模型都是错的，但有些是有用的”。

第三章：流程：驯服机器学习工作流的荒野

“AI 正处于这个关键时刻，人类正在决定这项技术对我们是否有益。”

被金（Been Kim）

尽管机器学习的长期前景令人期待，但今天的炒作可能与过去其他形式的人工智能一样被过度炒作（例如，请参见第一和第二次 AI 寒冬）。美国的炒作、草率态度和松散的监管导致了粗糙的机器学习系统实施，这些系统经常引发歧视和隐私危害。然而，我们知道，从根本上讲，机器学习是软件。为了帮助避免未来的失败，组织在现有软件资产上所做的所有文档、测试、管理和监控工作，也应该用于他们的机器学习项目。而这只是开始。组织还必须考虑机器学习的特定风险：歧视、隐私危害、安全漏洞、向失败漂移和不稳定的结果。在介绍这些 AI 事件的主要驱动因素并提出一些较低级别的流程解决方案后，本章还触及了法律责任和合规性的新兴问题。然后我们提出了与模型治理、AI 事件响应计划、组织机器学习原则和企业社会责任（CSR）相关的更高级别的风险缓解建议。尽管本章侧重于组织如何更新其流程以更好地应对机器学习的特殊风险考虑，但请记住，机器学习也需要基本的软件治理。

歧视输入，歧视输出

现在我们经常听到许多具有歧视性的算法，但歧视往往是通过糟糕的实验设计或偏见、不典型或错误标记的训练数据最常进入机器学习系统的方式。这是一个关键的过程问题，因为业务目标通常会定义机器学习模型固有的实验，并且训练数据通常是作为某种更广泛的组织机制的一部分收集或购买的。当一个组织正在设计机器学习系统或为机器学习项目选择数据时，歧视可以通过多种方式进入系统，包括：

问题框架（例如，关联或标签偏见）

在机器学习中，我们基本上使用数据集来提出问题：X 是否预测 y？有时仅仅提出这个问题就可能建立一个歧视性的前提。例如，基于面部特征（X）预测犯罪风险（y），或者使用个人医疗费用（y）作为医疗需求的固有有偏替代品。换句话说，仅仅因为你可以访问不同主题的数据，并不意味着机器学习可以在不引入或持续歧视的情况下将这两个主题联系起来。

标记或注释（例如，排除、采样、报告、标签或非响应偏见）

数据在传递给机器学习算法之前通常会经过清理或预处理。如果处理不当，这些过程可能会引入歧视。例如，将种族转换为数值代码，误解特定人口群体的编码值，或由于无意识的人类偏见而错误地标记声音或图像，这些都是歧视可能渗入数据清理或预处理的几种方式。

非代表性数据（例如，选择性或覆盖偏差）

机器学习模型需要高度代表性的训练数据。例如，考虑在一个国家（如美国）收集的面部图像训练面部识别分类器，然后将其应用于另一个国家（如日本或肯尼亚）。在训练期间学习较少信息的人群，模型的准确性可能会降低。这是机器学习可能具有歧视性的另一种方式。

准确的数据与人口统计群体成员资格相关联（例如，历史或偏见偏差）

像传统信用评分这样的数据是信用违约的准确预测因子，但由于美国长期存在的系统性不平等，一些少数族裔的信用评分平均低于白人或亚裔。在机器学习系统中使用传统信用评分并不一定错误，但必须意识到，这类数据将关于人口统计群体的信息编码到您的机器学习模型中，并可能导致歧视性机器学习系统的结果。

准确的数据编码包含歧视（例如，历史或偏见偏差）

例如，从警察或法院记录中抽样的数据可能非常准确，但很可能也包含历史和当前的种族主义。模型仅仅从训练数据中学习做出决策，因此这类数据在机器学习系统中必须非常小心地使用。

注意

这些主题通常在“机器学习公平性”下讨论。当然，从数学上定义公平性已被证明非常棘手，而“公平性”的概念受政治、文化和伦理解释的影响也不同。在本文中，由于其看似更狭窄和明确的负面解释，我们更频繁地使用“歧视”这个术语。¹

一旦歧视性数据进入机器学习系统，歧视性预测很快就会出现。机器学习与人类决策之间的真正差异在于速度。机器学习系统可以非常快速地对大量人做出决策。此外，机器学习模型的复杂性可能会使在传统线性模型中发现歧视变得更加困难。所有这些因素加起来可能导致灾难性的人工智能事件，就像最近《科学》文章中描述的那种情况，一家美国主要保险公司无意中使用了一种据称具有歧视性的算法来分配医疗资源，可能涉及数百万患者。这种歧视可能对消费者造成重大伤害，并对组织的监管和声誉造成问题。幸运的是，在部署之前，您可以测试机器学习系统输出中许多类型的歧视。机器学习系统输出中歧视可能表现出的主要方式包括：

明示性歧视

人口统计群体成员身份或直接代理人被直接用于机器学习系统中，导致历史上处于劣势的群体遭受不利结果。这有时被称为“差异对待”，通常是非法的商业做法。

群体结果差异

学习不同的人口统计群体与有利的模型结果之间的相关性，导致历史上处于劣势的群体遭受不成比例的不利结果。这有时被称为“不同影响”，在某些情况下也可能是非法的。

群体准确性差异

在机器学习系统对历史上处于劣势的群体不太准确时，尤其是在人口统计群体之间展示不同准确度时。有时被称为“差异有效性”，这种歧视也引起了美国某些监管机构的关注。

个体差异

一个机器学习系统在处理类似情况下的个体时，仅根据人口统计群体成员身份的差异而在结果或准确性上有所不同。

由于歧视可以影响机器学习系统的不同向量，因此始终最安全地测试这些类型的歧视，并尝试纠正发现的任何歧视。第四章将详细介绍如何测试机器学习系统中的歧视以及如何解决发现的歧视问题。

美国法规中的算法歧视

在进入数据隐私和安全之前，有必要提到当前已有的涉及人工智能（AI）、机器学习（ML）和歧视的法律法规。最近关于 AI 和 ML 歧视的头条新闻涌现，你可能会误以为这是一个新问题。但事实并非如此。在测试和决策中的歧视问题可能一直存在，并且已经研究了数十年。事实上，特定的歧视测试和补救策略已经几乎成为美国法律和法规的一部分。关键在于从业者要理解这些法律和法规何时适用，以及何时可以更自由地进行歧视测试和补救策略，超出法规框架之外。对于像消费信贷、医疗保健、就业或教育等行业的从业者（可能还有其他行业），如果使用一个闪亮新的开源包进行歧视测试，而不是使用法律要求的方法，可能会给你的组织带来很多麻烦。就像接下来章节中的数据隐私和安全主题一样，反歧视的法规和合规问题是在 ML 项目中纳入法律人员的一个很好理由。

数据隐私和安全

成功的 ML 实施需要训练数据，通常需要大量的数据。这意味着与消费和生成数据相关的 ML 工作流程需要关注数据隐私和安全问题。ML 工程师和管理者应该了解他们组织安全和隐私政策的基本内容，以及适用的主要隐私和安全法规的主要特点。尽管在美国尚无全国性统一的数据隐私法规，但数据安全要求、欧盟 GDPR、加州 CCPA 以及许多行业特定、地方性或新兴法律的结合，使美国成为数据隐私和安全方面的重度监管地区。对于 ML 从业者来说，数据隐私的关键概念包括：

使用同意

尽管有时对消费者来说可能是负担，大多数当前的隐私法律提出了数据使用的消费者同意的概念。在没有适当考虑同意的情况下训练 ML 系统或添加新的 ML 系统功能，可能会引发重大问题。

数据收集的法律基础

GDPR 明确列出了六种合法收集和使用消费者个人数据的理由：消费者同意、合同义务、法律义务、公共利益（例如公共或政府任务）、生命安全（例如拯救消费者生命）或合法商业利益（例如适当的营销活动）。ML 训练数据很可能也应该基于这些理由之一收集，否则 ML 系统可能会在未来引发不愉快的问题。

与隐私政策的一致性

许多组织都有隐私政策，如果您或您的机器学习系统违反了该隐私政策，可能会给您的组织带来监管或声誉方面的麻烦。

匿名化要求

像 HIPAA 和 GDPR 这样的法律包含适用于机器学习培训数据的数据匿名化要求。如果在机器学习项目中处理个人或敏感数据，可能需要对其进行匿名化处理（尽管在实践中真正的匿名化被证明很困难）。

保留要求和限制

敏感消费者数据通常伴随着存储期限或销毁时间的条件。这些要求和限制可能会成为机器学习系统中数据选择和生成的考虑因素。

从数据安全的角度来看，目标和失败通常以机密性、完整性和可用性（CIA）三元组来定义。CIA 三元组可以简要总结为：数据只能供授权用户使用，数据应正确且及时更新，需要时数据应能迅速获得。如果其中一项原则被违反，通常会发生安全事件。为避免涉及机器学习相关数据的事件，以下基本最佳实践可能会有所帮助：

访问控制

限制对培训数据的访问权限，特别是个人或敏感数据。

身份验证

对于访问机器学习相关数据的人员，要求使用强密码或其他身份验证方式来访问培训数据。

用户权限

定期审查和更新用户权限。采用“最小权限”概念，确保所有人员获得最低可能的访问级别。严格限制管理或“根”用户的数量。

远程访问

限制和监控与机器学习相关数据的远程访问。

第三方

确保第三方数据提供者和消费者遵循合理的安全标准。

物理介质

保护文件、闪存驱动器、备份介质和其他可移动数据源。

上述原则及更多内容可能属于FTC 合理安全监管范围。这意味着对您的组织来说，违规可能是个大问题。此外，隐私和安全违规通常需要向适当的管理机构报告。当然，违规报告和其他事件响应步骤应包括在书面事件响应计划中。发生事件时应遵循这些计划，并定期重新评估和更新。稍后在第三章中，我们将具体讨论 AI 事件响应。接下来，我们将介绍攻击者提取机器学习培训数据的危险新向量及其可能引发的问题。

机器学习安全

如果"安全的最大敌人是复杂性，" 根据Bruce Schneier，ML 可能天生不安全。其他研究人员还发布了大量描述和证实ML 系统的具体安全漏洞的研究。现在我们开始看到现实世界中的攻击是如何发生的，比如伊斯兰国的操作人员在在线内容中模糊其标志以逃避社交媒体过滤器。由于组织通常会采取措施保护宝贵的软件和数据资产，ML 系统也应该不例外。除了具体的事件响应计划外，还应该将几种额外的信息安全流程应用于 ML 系统，包括安全审核、漏洞赏金和红队攻击。

当今 ML 的主要安全威胁似乎是：

• 内部人员操纵 ML 系统的训练数据或软件

• 外部对 ML 系统结果的操控

• 外部对 ML 系统逻辑或训练数据的提取

• 嵌入第三方 ML 软件、模型、数据或其他工件中的特洛伊木马

对于那些使命关键或者具有高风险的 ML 部署，系统应至少审核这些已知的漏洞。审核可以由内部进行，也可以由专业团队进行，这就是所谓的红队攻击，就像Facebook所做的那样。漏洞赏金，即组织向公众提供金钱奖励以发现漏洞，是另一种来自一般信息安全的实践，可能也应用于 ML 系统。此外，审核、红队攻击和漏洞赏金不仅仅局限于安全问题。这些类型的过程还可以用来发现其他 ML 系统问题，比如歧视或不稳定性，并在其发展为 AI 事件之前予以发现。

合法性与合规性

ML 可以为组织创造大量价值。但考虑到真正的歧视、隐私和安全问题等，它也可能带来严重的声誉损害或法律责任。这些问题包括导致您的组织被起诉或违反地方、联邦或国际法规。合规性和法律问题常常使得 ML 产品和项目在最终阶段遭遇阻碍，因为监管人员很少参与 ML 事业的建设阶段。此外，像许多先前的强大商业技术一样，ML 未来可能会受到高度监管。随着国际监管的增加，美国政府的监管机构，如 CFPB、FINRA 和 FTC 发布有关 ML 指导的公告，以及州监管机构发布各种 ML 歧视调查的公告，现在是考虑您的 ML 系统在当前和不断发展的 ML 法律和合规性环境中的良好时机。

正如前面提到的，某些法规今天可能会对你的机器学习系统产生影响，特别是在医疗保健、金融服务和就业领域。根据 ECOA、FCRA、FHA、SR 11-7 等法律和法规，以及根据 EEOC 指南，机器学习系统通常被期望是数学上健全和稳定的，表现出最小的歧视，并且具有解释性。在这些垂直领域之外，你的机器学习系统仍可能受到当地的反歧视法、合理的安全标准、不公平和欺骗行为（UDAP）法律以及与其服务条款或保证（或其缺乏）相关的审查的影响。今天，违反这些法律和法规可能会导致你的组织面临监管罚款、诉讼成本、声誉损害以及对消费者造成伤害。此外，政府机构已经预示未来对机器学习的监管将会增加，或者在美国以外开始实施此类法规。关于美国和国际机器学习指导文件的更详细清单，请参阅Awesome Machine Learning Interpretability元目录。

截至今天，美国政府机构一般建议你的机器学习应当是有文档记录的、可以解释的、被管理的、被监控的，并且具有最小的歧视性。当然，我们不是律师或监管机构，不应该提供法律建议或确定什么符合法规。因此，请查看下面突出显示的文件，自行了解一些美国监管机构和机构对机器学习的看法：

• 证券行业中的人工智能（AI）

• 证券市场中人工智能入门

• 创新聚焦：使用 AI/ML 模型时提供不利行动通知

• “管理与预算办公室关于人工智能应用监管的草案指导”

• 使用人工智能和算法

如果你对机器学习、法律和监管的结合感到不知所措，这里有一些当前的例子，可以作为你的组织未来机器学习努力的模式。那些在当前与机器学习相关的法规下运作，或者已经吸取了在机器学习上玩快和松的教训的组织，通常会遵循一种被称为模型治理的实践。接下来的章节将试图总结该领域的实践。

模型治理

要进入机器学习的世界并不是简单的事情，聪明的领导者可能会问：“我如何减轻组织面临的风险呢？”幸运的是，一些成熟的模型治理实践由政府机构和私营公司精心制定，您的组织可以利用这些实践来开始。本节将重点介绍您的组织可以采用的一些治理结构和流程，以确保机器学习功能的公平性、问责性和透明度。本讨论分为三个主要部分：模型监控、模型文档化和组织关注事项。我们将通过一些简短的建议来结束模型治理的讨论，这些建议适用于寻求开始基本模型治理所需的基本要素的从业者。

模型监控

模型监控是机器学习生命周期中的一个阶段，涉及在模型基于新的实时数据进行预测或决策时对其进行监视。在监控机器学习模型时，有很多需要注意的地方。首先是模型衰退。模型衰退是机器学习系统的常见故障模式。当实时数据的特征与训练数据的特征偏离时，会导致基础机器学习模型的准确性下降。模型漂移通常描述为模型准确性下降，但也可能影响机器学习系统的公平性或安全性。通常通过监控模型输入和预测的统计特性，并将其与训练时记录的统计数据进行比较来检测模型漂移。对于公平性和安全性，监控可能涉及实时歧视测试以及对已部署的机器学习系统进行持续的红队测试或安全审计。一旦检测到重大漂移，应立即通知系统的利益相关者。为了解决准确性漂移，通常会在检测到漂移时使用新数据对机器学习系统进行重新训练，或者在频繁的时间间隔内进行重新训练，以避免漂移。解决公平性或安全性方面的漂移是一项较新的探索，尚未建立标准做法。但是，本报告中讨论的歧视测试和红队测试以及安全对策也可能在这方面提供帮助。

模型监控中的另一个主要话题是异常检测。ML 系统的奇怪输入或输出值可能表明稳定性问题或安全性和隐私漏洞。可以使用统计、ML 和业务规则来监控输入和输出的异常行为，以及整个 ML 系统。就像检测到模型漂移时一样，必须让系统相关方了解 ML 系统输入和输出的异常情况。还有两种额外且令人担忧的监测场景是错误传播和反馈环路。错误传播是指某些数据或 ML 系统输出中的问题导致消费 ML 系统或后续下游流程中错误恶化。反馈环路可能发生在预测性执法或算法交易等应用中，可能导致严重的外部风险。每当 ML 系统能够影响现实世界，并且其结果作为 ML 系统再次输入时，就可能发生反馈环路和 AI 事件。

在生产环境中监控您的 ML 是非常重要的，因为这可以迅速捕捉精度下降或系统公正性、安全性和稳定性特征变化之前的情况，防止它们成为 AI 事件。为了充分利用模型监控，您需要了解在训练时系统的状态以及在出现问题时该联系谁。这些详细信息的最佳存放地点是模型文档，接下来我们将讨论它。

模型文档

所有组织的预测模型都应进行清单和文档化。如果做得正确，模型文档应提供有关模型的所有相关技术、业务和人员信息，支持详细的人工审查、维护连续性以及某种程度的事件响应。此外，在一些行业中，模型文档已经是法规要求的一部分。模型文档的主要缺点是繁琐和耗时，有时编写文档的时间甚至比训练 ML 模型本身还要长。Google 研究在他们最近的模型卡和数据表工作中提供了解决此问题的一种方案。模型卡和数据表分别提供关于 ML 系统中使用的模型和数据的快速摘要信息。在商业分析市场上，另一个有前景的解决方案已经开始出现：自动模型文档化。购买或构建能够在 ML 模型训练时同时创建模型文档的 ML 软件，对于希望为其模型文档化工作节省时间的 ML 团队来说是一个很好的解决方案。当然，即使模型文档是自动生成的，人类仍然必须阅读文档，并在必要时提出关注。

模型治理的层次结构和团队

为了确保模型的设计、部署和管理负责任，正确定义将执行这些职责的组织结构至关重要。在 图 3-1 中，我们提出了一种适合希望将机器学习融入其运营流程的组织简单结构。此图使用了“D&A”这一行业常用缩写，特别是在过去几年中。

图 3-1. 提议的数据与分析（D&A）团队组织结构的基本概述（由 Ben Cox 和 H2O.ai 提供）。

数据与分析采纳的早期问题之一是公司倾向于不完美的两种结构之一：

数据与分析作为每个业务线内的独特群体（横向）。

每个业务单元的数据与分析资源花费过多时间构建其他部门已有的冗余工具，因为团队分散，组织未能利用跨职能协同效应，并经常产生妨碍运营的重复客户或交易数据。

数据与分析作为所有其他业务线（纵向）的报告部门（LOB）。

系统性隔离效应迫使数据与分析部门花费过多时间纠正各业务线之间的脱节，并响应临时要求，以便专注于新的驱动价值的机会。此外，各领域的机器学习专业知识（例如信用风险）与系统性隔离之间可能存在摩擦。

通过让分析、数据科学和机器学习职能在组织内不同组之间的交叉点运作，可以最小化经典的数据管理障碍和技术债务，通过增加透明度和协作。此外，交叉部门选项还包括一个集中的人工智能和机器学习卓越中心，专注于跨组织和能力的最高价值或新型机器学习追求。

图 3-2 提出了一个现代化数据与分析团队的理想操作架构，以负责任地采纳机器学习。在 图 3-2 中，我们可以看到技术职能向单个负责的执行官汇报，同时也为所有业务线提供服务。

图 3-2. 提出的机器学习模型治理报告组织层次结构（由 Ben Cox 和 H2O.ai 提供）。

最后，图 3-3 展示了技术上负责的机器学习功能如何融入图 1-2 中定义的更大的组织层次结构，该结构提出在图 3-2 中。正如在模型治理中普遍存在的那样，数据科学和分析团队训练机器学习模型，而其他团队则作为防线挑战、验证和监视这些模型。

图 3-3. 建议的模型治理工作流程和组织责任架构（由 Ben Cox 和 H2O.ai 提供）。

初学者的模型治理

如果您在一家小型或年轻的组织中，您可能只需要最基本的模型治理。两个最关键的模型治理流程是模型文档和模型监控：

基础模型文档

模型文档应包含任何人员、硬件、数据或算法在机器学习系统中的使用情况的“谁、什么、何时、何地、以及如何”。这些文档应使新员工能够理解机器学习系统的工作原理，以便他们可以接管维护，或者应在失败和攻击发生时促使第三方进行详细调查。是的，这些文档可能会非常长。

基础模型监控

即使您从未接触过您的机器学习系统的代码，它的输出也会随着其遇到的新数据而变化。这种情况很少对机器学习系统有利，而且可悲的是，大多数机器学习系统注定会朝着失败的方向漂移。因此，机器学习系统必须进行监控。通常，监控用于观察机器学习系统的输入或输出随时间的变化，特别是模型的准确性。但是，对公平性或安全特性的漂移进行监控也无妨。

如果您的组织没有足够的资源投入模型治理，那么全心全意投入以下两项实践，以及按下面讨论的方式准备 AI 事故，可以大大减少机器学习风险。

AI 事故响应

就像前面的几乎所有商业技术一样，ML 系统会失败并且可能受到攻击。迄今为止，已经有超过 1,000 起此类事件的公开报告。即使是我们最安全、受监管和监控的商业技术，如客机和核反应堆，也会遭受攻击和故障。鉴于很少有组织像同样严格审计和监控 ML 系统，而且ML 系统的监管兴趣正在上升，我们可能在未来几年听到更多关于 AI 事件的消息。此外，当一项技术对组织的使命至关重要时，内置冗余和事件响应计划并不罕见。ML 系统也应该如此。对 ML 系统故障或攻击制定计划可以成为区分系统行为故障和对组织及公众产生负面后果的严重 AI 事件之间的区别。

在活跃的 AI 事件中，压力和混乱会使事件响应变得困难。谁有权作出响应？谁有预算？关闭 ML 系统的商业后果是什么？这些基本问题及更多问题是为什么 AI 事件响应需要提前规划的原因。为计算机系统或甚至预测建模做好准备的想法并不新鲜。像SANS和NIST这样的尊重机构已经发布了计算机安全事件响应计划。模型治理实践通常包括 ML 系统清单及详细文档，旨在帮助应对 ML 系统故障等目标之一。虽然传统的事件响应计划和模型治理是减少 AI 事件风险的好方法，但两者都不完全适用于 AI 事件响应。许多传统的事件响应计划尚未涵盖专门的 ML 攻击，而模型治理通常并未明确涉及事件响应或 ML 安全性。要查看一个以传统事件响应和模型治理为基础，并结合 ML 所需特定细节的样本 AI 事件响应计划，请参阅免费开放的样本 AI 事件清单。不要等到为时已晚才制定自己的 AI 事件响应计划！

机构化机器学习原则

如果您的组织正在使用机器学习，组织机器学习原则出于许多原因至关重要。其中一个主要原因是，机器学习系统提供了扩展、自动化和推迟责任的机会。当您将这些能力与根深蒂固的企业或政府权力结构相结合时，历史告诉我们会发生不好的事情。具体可行的公开机器学习原则至少提供了一种机制，以便追究那些试图将组织和机器学习力量结合用于不良目的的人的责任。还有一个问题是，公开设计用于造成伤害的机器学习。组织机器学习原则可以作为困难决策的指南。想象一下，如果您公司的机器学习系统运行得非常出色，以至于吸引了军方客户的关注。您是否愿意在可能使用机器学习大规模杀人的情况下出售？在此类情况发生之前对如何处理这些情况有一些想法可能有助于您的组织做出最佳决策。无论决策是什么，基于事先达成的负责任、以人为中心的机器学习原则可能比基于当时的冲动倾向更好。组织机器学习原则的另一个好处是，它们可以教育非技术员工了解机器学习的风险。想象一下，如果您组织中一个对机器学习不熟悉的团队部署了一个没有进行歧视测试的黑箱图像分类器会发生什么？如果组织中有一项机器学习原则规定：“所有可能用于人类的机器学习产品都将进行歧视测试”，那么也许组织中的某个地方会更有可能在发布之前发现这个疏忽。

需要一些示例原则来开始吗？AlgorithmWatch 维护了一个目录，其中包含许多企业和政府的机器学习和人工智能原则。几乎所有这些原则看起来都是出于善意且可操作的。然而，通常缺少的是如何实施这些原则的具体路线图。因此，如果你制定了机器学习原则，请记住要避免的一个常见陷阱是无效性。很容易制定出过于高层或抽象的组织机器学习原则，以至于无法实施或强制执行。AlgorithmWatch 最近发表的报告指出，在审查的 160 套原则中，只有 10 套是可执行的。因此，将技术人员与伦理、法律、监督和领导层的视角融入组织机器学习原则可能是最佳实践。在下一节中，我们将引用作为公开交易银行年度报告的一部分发布的一组示例机器学习原则，以探讨更广泛的企业社会责任话题。

企业社会责任和外部风险

众所周知，无论是私营还是公共公司，近年来都面临着优先考虑道德和可持续商业实践的压力。在思考这对 ML 的影响时，我们必须注意，ML 处于工人、消费者和公众关注的多个关键领域的交汇点：自动化、歧视和不平等的持续、隐私伤害、缺乏问责制等等。正因为如此，对 ML 的负责任部署和严格的内部问责制应该是采用 ML 的组织成功的支柱。本节将简要介绍 ML 的企业社会责任的重要性。它还将快速讨论减轻组织、消费者和公众的广泛和一般风险，即通过不负责任使用 ML 而造成的外部风险。

企业社会责任

新闻和技术媒体充满了为何组织在采用机器学习时应考虑社会责任的例子。让我们考虑以下内容：

• 根据Forbes，“81%的千禧一代期望公司公开承诺良好的企业公民责任。”

• 根据Cone Communications，“75%的千禧一代愿意为了在社会上负责任的公司工作而减薪。”

• 根据Crunchbase News，“越来越多的投资者认识到，赚钱和对世界产生积极影响并不是互斥的。”

• 根据Capgemini，“62%的消费者将更信任公司，如果他们认为启用 AI 的互动是道德的。”

正如前面所述，负责任的 ML 可以最小化因法规不合规或大额法律和解导致的长期罚款。但正如这里的引用所暗示的那样，负责任的 ML 和 CSR 流程不仅仅是保护品牌声誉或作为免受法规惩罚的屏障。它们还可以影响组织获取客户、资本、资金和人才的能力，并影响员工的满意度和留任率。一个典型的例子是，一家公司在其 AI 转型早期合理结合了负责任的 ML 与企业社会责任，参见 Regions Bank 2019 年年度审查和环境、社会与治理报告。

减轻外部风险

对于许多公司来说，回答“如果模型出现问题，我的哪些客户会受到伤害？”并不简单。假设一家公司具有系统重要性，对周围地区造成重大健康风险，或者销售具有网络效应的产品或服务，那么他们必须意识到他们的 IT 系统可能会引发超出其自身收入和客户范围的问题。这类严重危害的最突出例子之一是 2007-2008 年全球金融危机，当时主要金融机构鲁莽地创建了数学上掩盖了这些产品风险的合成金融工具。最终，当多米诺骨牌倒下时，结果是造成全球范围内的大规模经济衰退，严重影响金融和房地产市场，并对世界经济的大部分造成了严重和持久的损害。

在机器学习（ML）领域，我们刚开始看到这些广泛的外部风险出现。例如，在美国，健康保险公司有时使用算法来分配整个被保人群体的资源——数亿人口。不幸的是，至少有一个这样的算法被发现对大量黑人群体的医疗保健造成伤害。另一个外部算法风险的例子是 2016 年英镑闪崩事件，据称算法交易导致货币市场崩溃。考虑到这类大规模事件的可能性，显然，机器学习和算法决策必须被视为商业航空或核能一样重要。在这些行业中，操作者不仅对公司内部的成功和失败负责，还必须对其决策对客户和相关第三方造成的影响负责。或许有一点需要记住的是，尽管 ML 领域已经有严格的监管垂直领域，但组织和负责的高管们可能会因其失败而受到惩罚。无论你的行业是否有严格的监管监督，如果你正在进行大规模的 ML 项目，现在可能是开始考虑 ML 外部风险的好时机。要帮助你的组织开始追踪这类 ML 风险，可以查阅由未来隐私论坛和 bnh.ai 制作的高级文档，名为Ten Questions on AI Risk。

¹ 参见：https://oreil.ly/K4HMW；有关该主题更广泛接受的学术处理，请参见：https://fairmlbook.org。

第四章：技术：工程化机器学习以获取人类信任和理解

“如果建筑师建造房子的方式像程序员建造程序一样，那么第一个啄木鸟来临将毁灭文明。”

Gerald M. Weinberg

机器学习的人类用户需要相信，任何由 ML 系统做出的决策都是最大限度地准确、安全和稳定的，并且尽可能少歧视性。我们可能还需要理解 ML 系统做出的任何决策，用于合规性、好奇心、调试、上诉或覆盖的目的。本章讨论了许多技术，可以帮助组织在其 ML 系统中建立人类信任和理解。我们将首先触及可重现性，因为没有可重现性，你将永远不会知道你的 ML 系统今天是否比过去更好或更差。然后，我们将继续讨论可解释模型和事后解释，因为对 ML 系统机制的解释能力使得能够调试质量、歧视、安全性和隐私问题。在介绍了一些这些调试技术之后，我们将用简要讨论 ML 中的因果关系来结束本章。

可重现性

建立可重现的基准来衡量在准确性、公平性、可解释性、隐私性或安全性方面的改进（或退化），对于应用科学方法至关重要。在某些情况下，可重现性也可能是法规遵从的必要条件。不幸的是，ML 工作流程的复杂性使得可重现性成为一个真正的挑战。本节介绍了一些增加组织 ML 系统可重现性的指导方针。

元数据

ML 系统的元数据允许数据科学家跟踪导致部署模型的所有模型工件（例如数据集、预处理步骤、模型、数据和模型验证结果、人类签署和部署细节）。下面介绍的许多额外的可重现性步骤只是跟踪 ML 系统元数据的特定方式。跟踪元数据还允许在发生 AI 事件时追溯出问题所在，贯穿整个 ML 生命周期。关于用于跟踪元数据的一个开源示例，请查看TensorFlow 的 MLMD。

随机种子

ML 模型受到所谓的“优秀模型的多样性”或“拉书门效应”的影响。与更传统的线性模型不同，这意味着对于任何给定的数据集，可以有大量可接受的 ML 模型。ML 模型还利用随机性，这可能导致意外结果。这些因素共同导致在 ML 模型中实现可重现结果比传统统计学和软件工程更加困难。幸运的是，几乎所有现代化、高质量的 ML 软件都带有一个“种子”参数，可以帮助提高可重现性。种子通常在每次算法内部的随机数生成器中的相同位置开始。种子的关键在于了解它们在不同软件包中的工作方式，然后保持一致地使用它们。

版本控制

ML 代码通常非常复杂，并且通常依赖于许多第三方库或软件包。当然，您的代码以及第三方代码的更改可能会改变 ML 系统的结果。系统地跟踪这些变化是提高可重复性、透明性和您的理智的另一种好方法。Git 和 GitHub 是免费且无处不在的软件版本控制资源，但还有很多其他探索的选择。确保正确版本的某些 ML 库在任何 ML 应用中也非常重要，因为不同版本的 ML 库可能导致性能和准确性的差异。因此，确保记录和控制使用的每个库的版本通常会导致更好的可重复性。还要记住，跟踪大型数据集和其他与 ML 相关的工件的变化与跟踪代码变化是不同的。除了我们在下一小节讨论的一些环境工具之外，还可以查看 Pachyderm 或 DVC 进行数据版本管理。

环境

ML 模型在由软件、硬件和运行程序确定的环境中进行训练、测试和部署。确保在训练、测试和部署 ML 模型期间保持一致的环境至关重要。不同的环境很可能对可重复性有害（并且手动处理将非常痛苦）。幸运的是，现在有许多工具可供数据科学家和 ML 工程师保留他们的计算环境。例如，被称为 ML 的通用语言的 Python 现在包括用于保留编码环境的虚拟环境。

虚拟机和最近的容器提供了一个机制，可以复制整个软件环境，这是 ML 系统运行的环境。在 ML 方面，容器框架非常流行。它可以保留模型训练时的确切环境，并且可以在不同硬件上运行，这对于可重复性和简化 ML 系统部署非常有利！此外，甚至专门开发了专用软件来处理数据和 ML 工作流程中的环境可重复性问题。请查看 Domino Data Lab，Gigantum，KubeFlow Pipelines，以及 TensorFlow Extended，了解这些专业产品的样貌。

硬件

硬件是不同物理组件的集合，使计算机能够运行，从而允许 ML 代码运行，最终实现 ML 系统的训练和部署。当然，硬件对 ML 系统的可重复性有重大影响。硬件和 ML 可重复性的基本考虑包括确保在训练和部署 ML 系统之间使用的硬件的相似性，并通过关注可重复性来测试不同硬件上的 ML 系统。

综合考虑这些因素以及稍后在第四章讨论的基准模型，数据科学家、机器学习和数据工程师以及其他 IT 人员应该能够增强组织的机器学习可重现性能力。这只是提高机器学习责任性的第一步，但也应该导致更快乐的客户和在机器学习系统生命周期内更快速的机器学习产品交付。一旦你知道你的机器学习系统站在稳固的基础上，接下来的重要技术步骤就是开始应用可解释和可解释的机器学习技术，以便你能够确切地了解你的系统如何工作。

可解释的机器学习模型和可解释的人工智能

可解释性是减少机器学习风险的另一个基本要求。在一个你不理解的黑箱系统中，要减少风险就更加困难。因此，解释性能够完全调试。解释性还对于人类从机器学习结果中学习、使人类能够申诉和覆盖机器学习结果以及通常用于合规性方面至关重要。如今，有许多增强机器学习解释性的方法，但它们通常可以分为两大类：可解释机器学习模型和事后解释技术。

可解释模型

几十年来，所谓的“准确性-可解释性的权衡”非正式信念使得大多数机器学习的研究者和从业者将他们的模型视为准确但晦涩难懂的黑匣子。近年来，来自领先机器学习学者的论文和几项实证研究开始严重质疑这种被认知的权衡。¹ 出现了大量关于新机器学习算法的论文和软件，这些算法是非线性的、高度准确的，并且直接可解释。而且，“可解释性”作为一个术语，越来越多地与这类新模型联系在一起。

新的可解释模型通常是旧的机器学习算法的贝叶斯或受约束的变体，例如附带本报告的在线资源中展示的可解释神经网络（XNN）。在这个例子中，模型的架构受限以使其更易于人类操作员理解。

解释性的另一个关键概念是，它不是一个二进制的开关。而 XNN 可能是一些最复杂的可解释模型之一。可扩展的贝叶斯规则列表，就像其他一些可解释模型一样，可以创建对业务决策者来说可能足够可解释的模型架构和结果。这些可解释机器学习模型的其他有趣示例包括：

• 可解释提升机（EBMs，也称为 GA2M）

• 单调约束梯度提升机

• Skope-rules

• 超稀疏线性整数模型（SLIMs）

• RuleFit

下次开始机器学习项目时，特别是涉及标准结构化数据源时，请评估其中一种准确和可解释的算法。希望您会感到愉快惊讶。

后验解释

后验解释是在机器学习模型训练后生成的模型机制和结果摘要。有时这些技术也被称为可解释人工智能（XAI）。这些技术可以大致分为：

本地特征重要性测量

例如，Shapley values、integrated gradients 和 counterfactual explanations。有时也被称为“本地”解释，这些解释可以告诉用户每行数据中每个输入特征对模型结果的贡献。这些度量方法在美国金融服务行业中生成不利行动通知也至关重要。

代理模型

例如，局部可解释模型无关解释（LIME）或锚点。这些技术是更复杂的机器学习模型的简化模型，可用于推理更复杂的机器学习模型。

机器学习模型结果的可视化

例如，变量重要性、累积局部效应、个体条件期望和部分依赖图。这些图表帮助将机器学习模型结果的许多不同方面总结为可消化的可视化。它们对美国金融服务应用程序中的模型文档要求也很有帮助。

这些后验解释技术中的许多技术可以应用于传统的机器学习黑盒模型，以增加其可解释性，但使用这些技术时也必须小心。它们已知的缺点包括忠实度、一致性和可理解性。忠实度指的是解释的准确性。一致性指的是如果对训练数据或模型规格进行小的更改，解释会发生多大变化。可理解性指人类理解生成的解释的程度。在使用 XAI 技术时必须仔细考虑所有这些缺点。可能最好的使用后验解释的方式之一是使用受限和可解释的机器学习模型。约束和固有的可解释性可以平衡与后验解释有效性相关的问题。将可解释的模型架构与后验解释配对还为有效的模型调试和机器学习系统测试奠定了基础。

模型调试和测试机器学习系统

尽管存在很多正面宣传，但机器学习系统并没有让它们免受影响传统软件系统的漏洞和攻击。事实上，由于其复杂性、漂移特性和固有的随机性质，机器学习系统可能比传统软件更容易遭受此类事件的影响。直截了当地说，当前的模型评估技术，如交叉验证或接收器操作特性（ROC）和提升曲线，仅仅不能充分告诉我们在公共面向、组织性信息技术系统中部署机器学习模型时可能发生的所有事件。

这就是模型调试的关键。模型调试是一种专注于发现和修复机器学习系统问题的实践。除了一些新颖的方法外，这一学科还借鉴了模型治理、传统模型诊断和软件测试的技术。模型调试试图像测试计算机代码一样测试机器学习系统，因为机器学习模型几乎总是由代码构成的。它使用诊断方法来跟踪复杂的机器学习模型响应函数和决策边界，以便发现和解决机器学习系统中的准确性、公平性、安全性和其他问题。本节将讨论两种模型调试方法：将软件质量保证（QA）技术迁移到机器学习领域，以及需要专门技术来找到和修复机器学习系统复杂内部运作中的问题。

机器学习的软件质量保证

机器学习就是软件。通常情况下，在传统企业软件资产上进行的所有测试也应该在机器学习上进行。

注意

这只是一个起点！在这份报告的其他部分，我们充分考虑了机器学习特殊风险。本小节旨在澄清，我们建议贵组织在传统软件资产上进行的所有测试也应该在机器学习系统上进行，并继续解决机器学习系统所面临的各种风险。是的，这是一项艰巨的工作。伴随着巨大的力量，必然伴随着巨大的责任。

单元测试应该针对数据处理、优化和训练代码编写。集成测试应用于机器学习系统的 API 和接口，以发现不匹配和其他问题。功能测试技术应用于机器学习系统的用户界面和端点，以确保系统行为符合预期。将部分测试流程和基准测试整合到持续集成/持续部署（CI/CD）过程中，可以实现效率提升，甚至提高机器学习软件的质量。要了解更多关于简单质量保证和模型调试的信息，请参阅 Google 的免费课程，机器学习中的测试和调试。

机器学习的专业调试技术

机器学习确实提出了超越传统软件的一些问题。正如其他报告部分所讨论的，机器学习带来了一些非常专业的歧视、隐私和安全问题。机器学习系统也可能出错。在一个著名的案例中，一个医疗风险系统断言哮喘患者死于肺炎的风险比其他人低。在另一个令人震惊的例子中，一辆自动驾驶汽车被发现无法处理横穿马路的情况。它导致了一起人身伤亡事故。

发现这些类型的错误确实需要一些专门的方法，但对于高风险的机器学习部署来说是绝对必要的。在机器学习系统中找到错误的实用技术往往是敏感性分析和残差分析的变体。敏感性分析涉及模拟数据并测试模型在该数据上的性能。残差分析是对训练时模型错误的仔细研究。这两种技术与基准模型、歧视测试和安全审计结合使用，可以找出机器学习系统中的逻辑错误、盲点和其他问题。当然，一旦发现了错误，就必须加以修复。在这方面也有很多好的选择，包括数据增强和model assertions以及editing等。有关当代模型调试技术的摘要，请参阅Why You Should Care About Debugging Machine Learning Models。有关调试消费信贷模型的代码和示例，请查看Real-World Strategies for Model Debugging。下一节将继续探讨模型调试的主题，并更详细地介绍基准模型。

基准模型

基准模型是简单、可信或透明的模型，可以用来与机器学习系统进行比较。它们在典型的机器学习工作流程中服务于多种风险缓解目的，包括在模型调试和模型监控中的使用。

模型调试

首先，检查一个新的复杂机器学习模型是否优于一个更简单的基准模型总是一个好主意。一旦机器学习模型通过了这个基准测试，基准模型可以作为调试工具。使用它们来通过问问题的方式测试你的机器学习模型，比如，“我的机器学习模型犯了什么错误，而我的基准模型没有犯错？我能看到原因吗？”基准模型还可以用于追踪复杂机器学习管道中的变化。在新的训练过程开始时运行基准模型可以帮助确认你正在稳定的基础上开始。在进行更改后再次运行相同的基准模型可以帮助确认这些更改是否真正改进了机器学习模型或管道。此外，将基准模型作为 CI/CD 流程的一部分自动运行，可以帮助理解代码更改如何影响复杂的机器学习系统。

模型监控

作为模型监控的一部分，将简单的基准模型与机器学习系统预测进行比较，可以帮助及时捕捉稳定性、公平性或安全性异常。由于其简单的机制，一个可解释的基准模型应该更加稳定，更容易确认为最小歧视，并且更难以被攻击。因此，想法是在对新数据进行评分和您的更复杂的机器学习系统时使用高度透明的基准模型。然后将您的机器学习系统的预测结果与一个可信的基准模型进行比较。如果您的更复杂的机器学习系统与基准模型之间的差异超过了某个合理的阈值，那么就退回到发布基准模型的预测结果或者将该数据行发送到手动处理。同时记录此事件。这可能在以后会变得有意义。（应当提到，在生产环境中比较机器学习模型与基准模型的一个问题是评分新数据所需的时间，即增加的延迟。）

鉴于基准模型能够提供的众多好处，我们希望您考虑将它们加入到您的训练或部署技术栈中。

歧视测试和补救

另一个关键的模型调试步骤是歧视测试和补救。在过去几十年中，已经投入了大量的工作来进行这些实践。歧视测试的方法涵盖了从简单的算术运算到具有长期法律先例的测试，再到前沿的机器学习研究。用于补救歧视的方法通常可以分为两大类：

1. 作为标准机器学习模型选择的一部分，跨可能的算法和特征规格进行搜索。

2. 尝试在训练数据、机器学习算法以及机器学习系统输出中尽量减少歧视。

这些内容将在下面更详细地讨论。虽然在选择用于歧视测试和补救的合适工具时通常很困难且具有上下文敏感性，但机器学习从业者必须付出这种努力。如果你正在使用有关人员的数据，那么这些数据可能编码了历史上的歧视，这将在你的机器学习系统结果中得到体现，除非你找到并修复它。本节将介绍歧视测试和补救的基础知识，希望能帮助您的组织在对抗这个严重问题上迈出第一步。

歧视测试

在进行机器学习歧视测试时，需要注意的两个主要问题是：群体差异和个体差异。群体差异发生在某种度量上模型的结果在不同人口群体之间是不公平的，或者当模型在不同的人口群体之间展示出不同的准确率或错误特征时。大多数开源软件包测试这些类型的差异。

个体不平等是一个更加棘手的概念，如果您刚开始测试 ML 中的歧视，可能不是您的首要任务。基本上，个体不平等是指模型在所有方面都相似但某些人口统计信息不同的个体间有不同对待的情况。在 ML 中，这可能出现的原因有很多，例如过于复杂的决策边界，导致历史上被边缘化的人口统计群体的个体被置于 ML 决策结果的有害一侧而没有充分理由。当 ML 系统学习将某些输入数据特征组合起来创建某人独特的人口统计信息的代理特征时，也可能发生这种情况。

虽然寻找反事实或对抗性示例的功能变得越来越普遍（例如，谷歌的“什么如果”工具），测试个体不平等通常比测试群体不平等更为复杂。今天，需要做一些侦察工作，查看数据中的许多个体，训练对手模型或使用特殊训练约束条件，跟踪决策边界，并使用事后解释技术来理解模型中的特征是否是人口统计变量的局部代理。当然，做所有这些额外的工作绝对是个好主意，因为它可以帮助您了解 ML 系统中歧视的驱动因素，无论是群体不平等还是局部不平等。这些额外步骤后续可以用于您的 ML 训练过程，以确认任何应用的纠正措施是否真正成功。

修复发现的歧视问题

如果您在您的 ML 系统中发现歧视问题，您该怎么办？好消息是，您至少有两种主要的纠正策略可供应用——一种是经过验证的传统策略，另一种则更具前沿性，但在受监管行业中也可能稍显风险。我们将在下面详细介绍这些策略。

第一种策略

第一种策略是传统策略（从美国监管的角度来看也是最安全的）。确保在模型训练中不使用任何人口统计特征，并简单地检查各种候选 ML 模型的标准歧视度量（如不利影响比例或标准化均差）。然后选择最不歧视的且足够准确以满足业务需求的模型。这通常是今天在像贷款和保险这样高度受监管的领域中使用的策略。

图 4-1 展示了在 ML 模型选择过程中考虑歧视度量（例如在本例中非裔美国人与白人之间的不利影响比例）如何帮助找到准确且较少歧视的模型。在 AIR 通常伴随四分之五规则的实际显著性检验，即历史上被边缘化的人口统计群体的正面结果与参考群体（通常是白人或男性）的正面结果比例应大于 0.8 或四分之五。

图 4-1. 用于神经网络模型的随机网格搜索，结果在质量和公平性维度上绘制（Patrick Hall 提供）。结果显示，在这种情况下，可以找到高质量、低歧视的模型。我们只需要去寻找它们。

策略 2

策略 2 包括机器学习、计算机科学和公平性研究社区的最新方法。

修复你的数据

今天，在监管较少的工业部门，你可能会能够使用软件包，帮助您重新采样或重新加权数据，以减少在机器学习模型训练中带入的歧视性。另一个关键考虑因素是简单地收集代表性数据；如果计划在某一人群中使用机器学习系统，应收集准确代表该人群的数据。

修正你的模型

机器学习研究人员已经开发出许多有趣的方法来减少机器学习模型训练过程中的歧视。其中一些方法甚至可能在高度监管的环境中是可接受的，但在深入投资某种技术之前，请务必与您的合规或法律部门协商。

正则化

从监管角度来看，最激进且可能最冒险的方法是保留人口统计特征在机器学习模型的训练和决策过程中，但使用专门的方法试图规范化或降低其在模型中的重要性。

双重优化

在双重优化方法中，人口统计特征通常不用于机器学习系统的决策过程。但是，在机器学习模型训练过程中，它们被用来降低可能导致更多歧视结果的模型机制的权重。如果你小心的话，双重优化方法可能在一些受美国监管的环境中是可以接受的，因为人口统计信息在技术上并未用于决策过程中。

对抗去偏差

在对抗性去偏见中，两个模型相互竞争。一个机器学习模型将成为您的机器学习系统内部用于决策的模型。这个模型通常不能访问任何显式的人口统计信息。另一个模型是一个对手模型，在训练后被丢弃，它可以访问显式的人口统计信息。训练过程首先适应主模型，然后查看对手是否能准确预测出来自主模型预测的人口统计信息。如果对手可以，主模型使用来自对手的信息（但不是显式的人口统计信息）来降低其训练数据中任何隐藏的人口统计信息的权重。这种来回交互将继续，直到对手不能再基于主模型的预测来预测人口统计信息为止。像双目标方法一样，对抗性去偏见在一些受美国监管的环境中可能是可以接受的。

修正你的预测

基于低置信度预测或影响历史上被边缘化的人口群体的有害决策可以提交进行人工审查。也可以直接更改您的机器学习预测，以通过某种措施减少机器学习系统的歧视性。这可能适用于已在运行中的存在歧视问题的机器学习系统，因为在某些情况下，可以在不重新训练系统的情况下减少歧视。但这种过激的干预措施也可能在美国消费金融垂直领域引起监管关注。

如您所见，有许多方法可以发现和修正您的机器学习系统中的歧视问题。使用它们，但要小心。没有歧视测试和纠正，您的机器学习系统可能会持续进行有害的、不准确的，甚至是非法的歧视。使用这些技术，您仍然需要监视系统在不断变化的实时数据中的结果，以及注意意外副作用。正如在下一节讨论的那样，机器学习系统可能会遭受攻击，在一个著名的例子中，被黑客攻击以产生歧视性。或者旨在减少歧视的干预最终可能会在长远中造成伤害。

保护机器学习

各种机器学习软件工件，机器学习预测 API 和其他机器学习端点现在可以成为网络和内部人员攻击的向量。这些机器学习攻击可以抵消所有机器学习团队为减少风险所做的努力。毕竟，一旦你的模型受到攻击，它就不再是你的模型了。攻击者可能对准确性、歧视、隐私或稳定性有自己的议程。本节将简要概述目前已知的机器学习攻击以及团队可以采取的一些基本防御措施来保护您的人工智能投资。

机器学习攻击

当今的机器学习系统面临一般攻击，这些攻击可能影响任何公共面向 IT 系统；专门攻击利用内部人员对数据和机器学习代码的访问权；外部访问机器学习预测 API 和端点；以及可以隐藏在第三方机器学习工件中的特洛伊木马。

一般攻击

机器学习系统面临分布式拒绝服务（DDOS）攻击和中间人攻击等黑客攻击。

内部攻击

恶意或勒索的内部人员可以更改机器学习训练数据以操纵机器学习系统的结果。这被称为数据污染。他们还可以修改用于评分新数据的代码，包括创建后门，以影响机器学习系统的输出。（这些攻击也可以由未经授权的外部对手执行，但通常被视为内部人员更现实的攻击向量。）

外部攻击

几种类型的外部攻击涉及使用奇怪的数据命中机器学习端点，以更改系统的输出。这可以简单地使用奇怪的输入数据，即所谓的对抗性示例，来操纵机器学习系统的结果。或者这些攻击可以更具体，比如冒充他人的数据，或使用调整自己的数据以逃避某些基于机器学习的安全措施。另一种外部机器学习攻击类型涉及按设计使用机器学习预测端点，即简单地向机器学习端点提交数据，并接收预测结果。但是，与将提交的数据和接收的预测用于合法业务目的不同，这些信息被用于窃取机器学习模型逻辑并推理、甚至复制敏感的机器学习训练数据。

特洛伊木马

机器学习系统通常依赖于许多第三方和开源软件包，以及近期大型预训练架构。这些都可能包含恶意载荷。

伴随本报告的在线资源提供了一些机器学习攻击的示例图解。这些示例是讨论的内部和外部机器学习攻击的视觉总结。要获取大多数已知攻击的优秀概述，请参阅Berryville Machine Learning Institute’s Interactive Machine Learning Risk Framework。

防范措施

鉴于机器学习系统的攻击多样性，您现在可能想知道如何保护您的组织的机器学习和人工智能模型。您可以采取几种对策，并与第三章中提议的流程——漏洞赏金、安全审计和红队测试——配对使用，这些措施更有可能有效。此外，还有对抗性机器学习和强健机器学习等新的子学科正在对这些主题进行全面学术研究。

本报告的这一部分将概述一些最基本的防御措施，以帮助您使您的 ML 系统更加安全，包括一般措施、安全模型监控以及内部攻击的防御措施。此外，请务必关注安全、对抗性和强健性 ML 领域的新工作，因为这一主题正在迅速发展。

基础知识

尽可能要求消费者进行身份验证以访问预测结果或使用 ML 系统。此外，针对大规模或异常请求，限制系统响应时间也非常重要。这两项基本的 IT 安全措施在阻碍外部攻击方面发挥了重要作用。

模型调试

使用敏感性分析和对抗性示例搜索来分析您的 ML 系统对不同类型数据的响应方式。如果发现您的模型可能受某些输入数据影响而被操纵，要么重新用更多数据、约束和正则化重新训练您的模型，要么警告负责模型监控的人员注意发现的漏洞。

模型监控

正如报告中其他地方所讨论的，模型通常会因准确性下降而进行监控。但是，模型也应该监控对抗性攻击。因为模型可能会遭到攻击以使其具有歧视性，所以如果可能的话，应进行实时歧视性测试。除了监控准确性和歧视性外，还应注意异常输入，例如不现实的数据、随机数据、重复数据和训练数据，以帮助捕捉外部对抗性攻击。最后，还讨论了在其他章节中也讨论过的一般策略，即实时比较 ML 系统结果与更简单基准模型结果。

阻挠恶意内部人员

严格应用最低权限概念，即确保所有人员——甚至“摇滚巨星”数据科学家和机器学习工程师——仅获得最低限度的 IT 系统权限，是防范内部机器学习攻击的最佳方式之一。其他策略包括对 ML 系统的数据和代码进行仔细控制和文档化，以及残留分析，以发现内部人员或其密切关联者的奇怪预测。

ML 安全的其他关键点包括隐私增强技术（PETs），用于模糊和保护训练数据，并准备 AI 事件响应计划的组织。如第三章中提到的，将一些防御策略并培训如何及何时使用它们，纳入组织的 AI 事件响应计划中，可以提高整体 ML 安全性。至于 PETs，下一节将详细介绍它们。

用于机器学习的隐私增强技术

保护隐私的 ML 是另一个研究子学科，对 ML 的负责实践有直接影响。从这一领域中一些最有前景和实用的技术包括联邦学习和差分隐私。

联邦学习

联邦学习是一种跨多个分散的边缘设备或服务器进行机器学习算法训练的方法，这些设备或服务器保存本地数据样本，而无需交换原始数据。这种方法不同于传统的集中式机器学习技术，后者要求所有数据集上传到单个服务器。联邦学习的主要好处在于，它能够在不共享数据的情况下构建强大的机器学习模型。联邦学习通过在本地数据样本上训练本地模型，并在服务器或边缘设备之间交换参数来生成全局模型，然后所有服务器或边缘设备共享这个全局模型。假设采用安全的聚合过程，联邦学习有助于解决基本的数据隐私和数据安全问题。

差分隐私

差分隐私是一种通过描述数据集中群组的模式来共享信息的系统，而不披露特定个体的信息。在机器学习工具中，通常使用专门的类型的differentially private learning algorithms.²来实现这一点。这使得从训练数据或训练模型中提取敏感数据变得更加困难。事实上，如果外部观察者无法确定个体信息是否被用于训练模型，那么一个机器学习模型被称为差分隐私模型。（这听起来非常适合防止前一节描述的数据提取攻击！）

联邦学习、差分隐私和机器学习安全措施可以共同发挥作用，为您的机器学习系统增加额外的隐私和安全层。尽管它们会增加额外的工作量，但对于高风险或关键任务的机器学习部署来说，它们很可能是值得考虑的。

因果关系

我们将结束我们对负责任的 ML 技术讨论，并谈到因果关系，因为建模某种现象的因果驱动因素，而不是复杂的相关性，可能有助于解决我们提出的许多风险。相关性并非因果关系。几乎所有当今流行的 ML 方法都依赖于相关性，或者是该概念的某种更局部化的变体，从数据中学习。然而，数据既可以相关又可能误导。例如，在前面讨论的著名哮喘患者例子中，患哮喘与更多的医疗关注相关，而不是低风险死于肺炎。此外，在歧视测试和修复中的一个主要关注点是 ML 模型学习与人口统计特征的复杂相关性，而不是真实关系。直到 ML 算法能够学习这样的因果关系，它们将受到这类基本逻辑缺陷和其他问题的影响。幸运的是，像马尔可夫链蒙特卡洛（MCMC）抽样、贝叶斯网络以及各种因果推断框架开始出现在商业和开源软件的 ML 包中。更多创新可能正在路上，因此请关注数据世界的这一重要领域。

除了严格的因果推断方法之外，您现在可以采取的步骤是将因果概念纳入您的 ML 项目中。例如，增强可解释性和模型调试可以导致一种“穷人的因果关系”，其中调试用于查找 ML 模型中的逻辑缺陷，并使用模型断言、模型编辑、单调性约束或交互约束等修复技术来修复缺陷，配合人类领域知识。根本原因分析也是高风险 ML 工作流程的重要补充。可解释的 ML 模型和事后解释技术现在可以指示 ML 模型行为的原因，这些可以由人类案件工作者确认或否认。然后，这些发现可以纳入下一次迭代的 ML 系统中，希望改进多个系统 KPI。当然，所有这些不同的建议都不能替代真正的因果推断方法，但它们可以帮助您朝着这个目标取得进展。

¹ 请参阅https://oreil.ly/gDhzh和https://oreil.ly/Fzilg。

² 另请参阅https://oreil.ly/ESyqR。

第五章：以负责任的机器学习创新驱动价值

“远远最大的危险是人们过早地得出对人工智能的理解结论。”

Eliezer Yudkowsky

“为什么 87%的数据科学项目最终未能投入生产？”近期一篇《VentureBeat》文章提出了这个问题。对于许多公司来说，将机器学习模型投入生产是衡量机器学习风险的关键时刻。对许多人而言，构建模型的整体目的在于最终部署它进行实时预测，其他任何目的都会被视为失败。对其他公司来说，机器学习模型的最终目标可以简单地是即席预测、估值、分类或警报。本短章旨在提供公司在采纳和从机器学习中获取价值时应注意的关键概念概述。一般来说，对于企业而言，基于预测算法做出重要决策会带来更为重大的影响，而不仅仅是进行试验或原型探索性机器学习活动。

信任与风险

对于采用人工智能的智能组织来说，通常会有两个主要问题：“我如何能够信任这个模型？”和“它有多大风险？”这些对公司在将机器学习模型投入生产之前问的关键问题。然而，需要理解的是，这些问题的答案之间存在一个正反馈效应。你对一个机器学习系统的风险了解得越多，你就能越信任它。我们经常发现，高管和领导们会迫不及待地问：“风险是什么？”而数据科学从业者更专注于：“我能相信这个预测吗？”但最终，他们问的是同一个问题。

首先，需要分析的最明显的指标是一个给定的机器学习模型可能表现出的风险。以下是决策者需要询问有关机器学习部署的几个问题的几个问题：

• 模型的质量如何？（准确性、AUC/ROC、F1）

• 错误结果的成本是多少？

  • 还有次要成本考虑吗？法律或合规问题？客户生命周期价值？运营风险？品牌或声誉风险？对终端用户或公众的伤害？

  • 我们是否实时监控模型的准确性、歧视性、隐私或安全问题？

  • 我们是否有具体的人工智能事件响应计划？

• 这个模型正在做多少预测？

  • 这些预测的速度是多少？你的公司需要多快地响应错误或异常情况？

  • 这个模型对你的公司有多大的重要性？

到目前为止，没有关于 ML 风险的银弹。在数据科学和 ML 风险方面，真正的细微差别主要源于了解预测出错时会发生什么。出于同样的原因，设计和开发 ML 系统时，深入的领域知识或背景上下文至关重要。错误预测的下行风险不仅仅是损失利润或增加成本，而是企业需要严格分析的多层考虑因素。乔治·博克斯的统计引用“所有模型都是错误的，但有些是有用的”，应该成为拥有 ML 的组织的一个起点。了解您的模型将会出错，并彻底理解这对您的组织意味着什么。

信号与简洁

最近几年 ML 和 AI 领域的热潮很大程度上归因于深度神经网络和高性能计算的推动。最初的大想法是，适当调整的深度学习模型在有足够数据支持下，可以超越其他任何方法。这个想法的问题在于，这些模型可以说是所有领先方法中最黑盒的。这带来了一个折衷：为了简洁性（信号），我是否需要牺牲准确性？要牺牲多少？然而，新的研究表明，在表格数据和诸如 XNN 和 EBM 等方法中，这种折衷可能很小。目前而言，白盒方法在标准业务数据源上的准确性可以与其黑盒对应物相媲美。请记住，解释性可以围绕 ML 系统实施各种风险缓解过程：改进有效挑战、更好的文档编制、客户申诉以及更多模型调试。如果您作为业务领导者面对一个您的团队无法解释的 ML 系统，这是一个重要的警告信号。您可以同时兼顾信号和简洁，特别是对于最常见的传统数据挖掘问题。

负责任机器学习的未来

在过去几年中，对于更好理解和信任我们的机器学习系统有了更多的需求，这是一件非常好的事情。在欧洲和亚洲的某些地区，政府在组织部署机器学习时更积极要求考虑这些因素。在美国，负责任的机器学习主要是由数据科学家、研究人员和行业从业者的基层推动，旨在促进 AI 和机器学习领域的负责任创新。无论如何，目标都是增强消费者信任，并推动该领域的更好实践。我们相信，在未来，机器学习的责任性将继续发展和改进，特别是在美国政府机构的严格监管下。随着基层压力和未来的法规压力增加，组织不能简单地打勾认为负责任的机器学习问题已解决。我们希望组织能不断改进其实践，以更好地理解和信任他们的机器学习系统，直到负责任的机器学习变成普通的机器学习。

进一步阅读

英国 ICO AI 审计框架

新加坡 PDPC 模型 AI 治理框架

Berryville Institute 互动式机器学习风险评估

致谢

感谢我们在 H2O.ai 的同事，尤其是 Ingrid Burton。感谢 O’Reilly Media 的 Michele Cronin、Michelle Houston、Beth Kelly、Mike Loukides 和 Rebecca Novack。同时也感谢我们更广泛的数据科学社区的同事 Andrew Burt、Hannes Hapke、Catherine Nelson 和 Nicholas Schimdt。

关于作者

Patrick Hall 是 bnh.ai 的首席科学家，这是一家专注于数据分析和人工智能的精品法律公司。Patrick 还是乔治·华盛顿大学决策科学系的客座教授，并担任 H2O.ai 的顾问。

Navdeep Gill 是 H2O.ai 的高级数据科学家和软件工程师，主要专注于负责任的机器学习。Navdeep 还为 H2O.ai 在 GPU 加速机器学习、自动化机器学习以及核心 H2O-3 机器学习平台方面做出了贡献。

Ben Cox 是 H2O.ai 的产品营销总监，负责负责任的 AI 市场研究和思想领导。在加入 H2O.ai 之前，Ben 在安永、耐克和 NTT 数据的高知名度团队中担任数据科学角色。