数据科学领域的每个人都应该知道的-97-件关于伦理的事情-全-

数据科学领域的每个人都应该知道的 97 件关于伦理的事情（全）

原文：zh.annas-archive.org/md5/3fc68ce148a499485dfb7e3875871d23

译者：飞龙

协议：CC BY-NC-SA 4.0

前言

伦理与分析和数据科学世界的交汇是我近年来对其充满激情的话题。我已经在这个主题上写了各种博客和论文。我还在许多公共会议和与企业客户的私人会议上谈到了对伦理重视的必要性。我所讨论的内容基于我刻意和持续的努力，了解其他人在分析伦理方面的想法和言论。在这些互动中，我也得到了反馈，这使我能够继续在我的思想中认识到缺陷，并进一步发展我的观点。

在我的互动中，我一直发现，一旦人们意识到伦理考虑的必要性比他们意识到的要广泛和重要得多，他们就会非常愿意更加重视伦理。在我看到的大多数涉及分析和数据科学的不道德事件中，很少有人是出于恶意行事的。相反，通常情况下，情况的伦理性根本没有被充分考虑，甚至根本没有被考虑过。

当 O'Reilly 邀请我参与这个项目时，我知道这是我必须要做的事情。我对能够看到其他数百人对伦理学的看法感到兴奋。我坚信，随着分析和数据科学社区中关于伦理的对话越来越多，我们可以继续努力，确保分析和数据科学以尽可能伦理的方式进行。关键在于引起人们的注意，让他们意识到需要将伦理考虑充分重视起来。这本书的目标是成为这种觉醒的催化剂——帮助读者充分理解将适当的伦理应用于分析和数据科学项目的重要性。为这本书策划最终入选的稿件对我来说是一次巨大的学习经验，我希望读者也能发现最终的成果具有价值。

当你阅读这本书时，你会发现各种不同的观点和写作风格。这是有意为之的。如果两个条目存在冲突的观点，这为你提供了一个机会去思考你认为更具有说服力的观点及其原因。我和我的同事们写这本书并不是要告诉你什么是伦理的，也不是什么不是伦理的。相反，这本书提供了社区其他成员的观点，让你继续完善自己的伦理准则。

书名为 97 Things About Ethics Everyone in Data Science Should Know。究竟谁是“数据科学中的每个人”？这个描述应该被广泛解释。毫无疑问，任何参与定义、创建或使用分析和数据科学流程的人都会从这本书中受益。这包括技术和业务角色的人员。学生或考虑转行进入该领域的人也会受益。然而，内容并不深奥或难以理解。因此，对于那些对数据科学中伦理与伦理交叉感兴趣的人来说，这本书无论他们的工作角色或教育背景如何，都会有价值。

为什么现在？

尽管在分析和数据科学中需要伦理一直存在，但最近的几个趋势已经帮助将这个主题推向了前台。第一个趋势是我在我的书 The Analytics Revolution（Wiley 出版）中关注的内容。换句话说，我们已经进入一个完全自动化和嵌入决策过程的分析过程的时代。人类现在通常被降级为创建分析和数据科学流程，然后监控其性能，而重要的决策则是自动化的。这种自动化使人们对这些过程内部实际发生的事情更加关注和怀疑，很快就会引发关于伦理的讨论。特别是当模型应用于信用评分、医疗保健或风险评估等敏感领域时，这一点尤为真实。

推动伦理关注的第二个趋势是人工智能（AI）的崛起。不仅是众多 AI 过程被嵌入和自动化作为第一个趋势的一部分，而且 AI 过程本质上也相当不透明。这种不透明性使人们感到不安，迫使他们讨论 AI 算法内部发生的事情以及其原因。这很快又转变成了一个伦理讨论。随着人工智能变得更加复杂并继续每天影响我们的生活，人们希望知道它是以适当的方式使用的。

伦理是“模糊的”。

不幸的是，伦理比我们想象中要模糊得多。如果你问一百个人，“伦理选择通常清晰吗？”大多数人会迅速回答“是的”。然而，一旦我们被挑战去更深入地思考这个问题，很快就会显而易见，伦理决策并不像我们允许自己相信的那样清晰明了。虽然通常很容易确定应该遵循的“规则”，但同样容易发现一个或多个例外。

让我们从分析和数据科学领域举一个相关的例子。欧盟通用数据保护条例（GDPR）的核心之一是被遗忘的权利。这意味着我可以告诉组织，我不希望他们继续保留可能存在的与我有关的任何数据，他们必须删除那些数据。听起来很明确，不是吗？如果我要求删除我的数据，那么公司必须依法遵守。

嗯，事情并不是那么简单。有许多情况下，例外情况从法律和/或伦理角度都是有意义的。如果我对产品有保修，该怎么办？如果我要求被遗忘，制造商是否可以保留足够的信息来服务保修直至其到期，或者我的请求是否也会使保修无效（因为公司将不再有我的记录或我的购买记录）？是否按照法律的明文规定行事是道德的道路，还是基于客户可能未考虑到的权衡来给客户选择？关键在于，无论 GDPR 或任何法律多么“明确和明确”，它都无法涵盖每种情况。异常情况将需要判断何为道德行为。

在极端情况下，考虑几乎每个人类社会历史上分享的伦理准则：我们不应该杀害他人。几乎没有人会认为这不是一个好的和道德的规则。然而，我们可以找到许多例外情况，甚至适用于这个普遍接受的规则。举一个例子，如果有人闯入我的家并试图杀害我，我是否可以在自卫中杀害那个人？大多数人和法律系统会说“可以”，而且许多人有各种其他例外情况，例如战争和死刑。如果像“不要杀人”这样明确和明确的事情都有例外情况，我们怎么能不期望在我们的数据科学和分析工作中处理例外情况呢？

一旦我们不得不承认某个规则存在例外，或者某个规则在特定情况下不适用，我们就必须考虑是否存在其他例外情况，以及这个规则是否公平适用于该情况。我们随后被迫做出道德判断。在我们规划、构建和实施分析和数据科学过程时，我们必须专注于考虑道德因素。

拥抱伦理责任！

数据分析和数据科学社区必须领导并承担起我们所产生的分析和数据科学过程的伦理责任。理想情况下，这本书可以作为我们前行路上的一个参考点。但你的方法不能简单地是在你的组织法律团队说“停止”或公众哗然之前，随心所欲地去做。不幸的是，我们的法律还没有跟上今天的很多可能性。因此，数据分析和数据科学组织常常面临这样的情况：某种行为可能默认是合法的（因为没有法律涵盖这种情况），但在广泛视角下可能被视为不道德。一个组织的数据分析和数据科学专家的勤勉和判断，通常是防止不道德想法实施的唯一障碍。

正如书中许多观点所敦促的那样，数据分析和数据科学组织应该有意识地追求只做符合伦理的工作。伦理准则、伦理审查委员会、伦理违规举报线和其他相关方法可以帮助组织站在伦理行为的一边。简单地确保人们每天都在考虑伦理，以及在项目的每一步都考虑伦理，会使不道德的决策和行为变得更少见。每次都做出完美的决定是不可能的，但专注于伦理可以推动很多进步。值得注意的是，鉴于许多情况的模糊性，你可以预料到，无论你在哪里划定伦理界限，总会有人不同意你的决定。因此，一定要确保能用逻辑和坚定的信念（同时要完全透明）来捍卫你的决定，如果这些决定受到质疑的话。

如果从这本书中能带走一点，那就应该是当涉及确保你的分析和数据科学活动是符合伦理的时候，你不能等待别人来带头。你必须挺身而出，帮助自己成为引领者！每天都要有意识地考虑伦理，这样你晚上睡得安稳，同时保护自己和你的组织的诚信和声誉。

书的组织方式

我们经常听到伦理关注集中在模型评分中存在性别、种族等偏见的情况下。虽然这确实是一个关键的关注领域，但在建立、部署和使用数据科学或分析应用的整个过程中都有伦理考虑。在整本书中，你会发现讨论了一系列有趣的场景和解决方案，涵盖了预期和意外的领域。

与其简单地将 97 篇文章推给读者，我们决定将条目分组为一些高层次的主题。这为您作为读者带来了几个好处。首先，如果有某个特定的伦理方面最能吸引您，例如政策指南，您可以快速转到该部分。其次，通过这种方式组织条目，可以更容易地比较和对比关于特定主题的观点，因为这些观点在靠近的位置。每篇投稿都是独立的意见，书中的每个部分都是独立的。没有必要按照典型的从前到后的方式阅读本书。请随意跳转到您最感兴趣的部分和投稿。

本书的部分如下：

第一部分: 提醒我们应在将伦理应用于我们的分析和数据科学工作时考虑的核心伦理基础。
第二部分: 将普遍社会伦理规范与分析和数据科学要求联系在一起。
第三部分: 包含关于供给分析和数据科学过程的数据收集和使用背后伦理的有针对性讨论。
第四部分: 解决了过程目标的前端定义以及结果的后端应用。
第五部分: 提供关于如何使一个过程正在做的事情可理解，并确保其随时间的道德运作的见解。
第六部分: 提供有关如何制定政策以鼓励道德行为的指导。
第七部分: 包括关于行业特定或用例特定示例的讨论。

敏锐的读者会注意到本书实际上有 98 篇文章，而不是标题中标示的 97 篇。在最后的选择过程中，我们有很多优秀的投稿，因此决定提供给读者一个额外的观点，而不是将列表强行限制在 97 篇。我们相信您可以从中获得价值！

希望您发现这些观点的编译有助于您成功地保持自己的分析和数据科学倡议的道德性。祝您阅读愉快！

—Bill Franks

O’Reilly 在线学习

注意

40 多年来，O’Reilly Media 提供技术和商业培训、知识和见解，帮助公司取得成功。

我们独特的专家和创新者网络通过书籍、文章和我们的在线学习平台分享他们的知识和专长。O’Reilly 的在线学习平台为您提供按需访问的实时培训课程、深入学习路径、交互式编码环境，以及来自 O’Reilly 和其他 200 多个出版商的大量文本和视频。更多信息，请访问http://oreilly.com。

如何联系我们

请将有关本书的评论和问题发送至出版商：

O’Reilly Media, Inc.
1005 Gravenstein Highway North
Sebastopol, CA 95472
800-998-9938（美国或加拿大）
707-829-0515（国际或当地）
707-829-0104（传真）

我们为本书设有网页，列出勘误、示例和任何额外信息。您可以访问此页面：https://oreil.ly/97-things-ethics-data-science。

发送电子邮件至bookquestions@oreilly.com以就本书提出评论或技术问题。

获取我们书籍和课程的新闻和信息，请访问http://oreilly.com。

在 Facebook 上找到我们：http://facebook.com/oreilly

在 Twitter 上关注我们：http://twitter.com/oreillymedia

在 YouTube 上观看我们：http://youtube.com/oreillymedia

致谢

首先，我要感谢所有抽出时间为本书作出贡献的人们。考虑到本书的独特格式，如果没有所有的贡献者，它实际上不可能存在。我们收到的贡献广度和质量让我印象深刻。如果本书被认为是成功的，那么这种成功主要归功于贡献者们。

我还要感谢 O’Reilly 团队在整个过程中的支持。在我被邀请合作这个项目并同意之后，很快我意识到我不会独自一人完成。团队在处理投稿、与所有作者协调编辑以及最终格式排版方面的支持非常出色。他们分配给我一个经验丰富、专业的团队，使整个过程尽可能少痛苦。

最后，我要感谢所有在分析和数据科学社区中参与讨论伦理问题的人们，这些讨论帮助形成了我的观点，我相信也帮助了本书的贡献者们形成了他们的观点。如果没有社区中持续进行的强烈对话，本书中的理念不可能如此完整和深入地形成。

第一部分：基础伦理原则

我们的文明运作在广泛的伦理框架下。本节包含的观点提醒我们不应忽视的一些基础伦理原则。

第一章：真相关于 AI 偏见

Cassie Kozyrkov

谷歌云的首席决策科学家

没有技术是免于其创造者的。尽管我们对科幻小说充满期望，但并不存在真正分离和自主的 AI 系统……因为它们始于我们。尽管其影响可能在你按下按钮后久久不散，所有技术都是其建造者愿望的回声。

数据和数学并不等同于客观性

如果你将 AI 视为从人类缺陷中拯救你的救世主，要小心行事。当然，数据和数学可以增加你在决策中使用的信息量，和/或者避免你在当下热情时的愚蠢，但是如何使用它们仍然取决于你。

听着，我知道科幻小说卖座。说“AI 学会了自己完成这项任务”比告诉真相更加耀眼：“人们使用一个名字酷炫的工具来帮助他们编写代码。他们输入他们认为合适的例子，发现其中的模式，并将这些模式转化为指令。然后，他们检查这些指令对他们的影响是否令他们满意。”

真相充满了人类的主观性——看看沿途所有那些留给项目负责人自行决定的小选择吧。我们应该将 AI 应用于什么？这值得吗？在什么情况下？我们如何定义成功？它需要多好地运行？ 问题层出不穷。

令人哀笑的是，将数据添加到混合物中掩盖了永存的人类因素，创造了客观性的幻象。在核心周围包裹一层华丽的数学外衣，并不会使其变得不那么“软软的”。

技术始终来源于并由人设计，这意味着它不比我们更客观。

什么是算法偏见？

算法偏见指的是计算机系统反映其创建者的隐含价值观的情况。按照这一定义，即使是最良性的计算机系统也是有偏见的；当我们将数学应用于某一目的时，该目的受我们这个时代的感性影响。AI 豁免吗？一点也不。停止将 AI 视为一个实体，看清它真正的面貌：写代码的极佳工具。

AI 的整体目的是让你用例子（数据！）而不是指令向计算机解释你的意愿。哪些例子？这取决于你试图教会你的系统做什么。把你的数据集想象成你要求机器学生学习的教科书。

数据集由人类作者编写

当我说“AI 偏见不是来自 AI 算法，而是来自人”，一些人写信告诉我我错了，因为偏见来自数据。好吧，我们都可以是赢家……因为数据是由人创造的。就像教科书一样，数据集反映了其作者的偏见。

请考虑以下图片。

你的第一个想法是“香蕉”吗？为什么你没有提到塑料袋卷或香蕉的颜色？这个例子来自谷歌的 AI 公平培训课程，它表明，尽管这三个答案在技术上都是正确的，但你有偏好倾向于更喜欢其中一个。并非所有人都会分享这种偏好；我们的感知和反应受到我们的规范的影响。如果你生活在一个所有香蕉都是蓝色的星球上，你可能会在这里回答“黄色的香蕉”。如果你以前从未见过香蕉，你可能会说“架子上放着黄色的东西”。这两个答案也是正确的。

你为系统创造的数据将受到你如何看待世界的偏见的影响。

这并不是做一个混蛋的借口

哲学上的论证无效化真正无偏和客观技术的存在并不意味着任何人可以以此为借口成为一个混蛋。如果有什么，你不能把伦理责任推给机器的事实更多地把责任放在你的肩膀上，而不是减少。

当然，我们的观念是由我们所处的时代塑造的。关于美德、正义、善良、公平和荣誉的社会观念与几千年前居住在此地的人们的观念并不相同，它们可能会不断演变。这并不意味着这些观念不重要；这只意味着我们不能把它们外包给一堆电线。它们是我们所有人共同的责任。

公平性在人工智能中

一旦你意识到你要负责如何使用你的工具以及你将它们指向何处，就努力让自己意识到你的选择如何影响其他人类。例如，决定追求哪个应用程序是一种影响其他人的选择。要仔细考虑。

你另一个选择是使用哪些数据来进行 AI。你应该期望在与你的系统学习相似的示例上表现更好。如果你选择不使用像我这样的人群的数据，当我作为你的用户出现时，你的系统更有可能出错。当这种情况发生时，你有责任考虑可能造成的痛苦。

至少，我希望你有常识去检查你的用户群体的分布是否与你的数据分布相匹配。例如，如果你的所有训练示例都来自一个国家的居民，但你的目标用户是全球的...预料到会出现问题。

公平与意识

我在这里写了很多字，当我本可以告诉你，在 AI 偏见和公平性的研究中，主要关注的是确保你的系统对某些用户群体相对于其他群体没有不成比例的影响。AI 伦理的主要焦点是分布检查和类似的分析。

我写这么多的原因是希望你能做得更好。自动化分布检查只能做到这么多。没有人比系统的创造者更了解这个系统，所以如果你正在构建一个系统，请花时间考虑你的行动将影响谁以及如何影响，并尽力让那些受影响的人有发言权，以引导你解决盲点。

第二章：介绍 Ethicize™，完全由 AI 驱动的基于云的伦理解决方案！

Brian T. O’Neill

创始人和首席，设计分析

立即许可我们最新的 AI 自动化平台，并为您下一个分析或数据科学解决方案获得免费的“伦理能量提升”，只需额外支付$2.5M！

这是标准价格的半价，仅限有限时间内。

为什么不用额外的努力使你的解决方案从一开始就合乎伦理？

在接下来的 30 天内，年度平台订阅者可以选择免费的 1 天送货，或者您可以选择以每月仅$49,999 的价格在我们的 Ethix™云中运行平台。使用一个 AI 驱动的系统来完全革新您提供的伦理数据科学和分析解决方案的方式，所有这些都不需要额外的人力、监控或额外的开发时间。这是如何可能的呢？因为 Ethicize™本身也是 AI 驱动的！

看，与客户和真实的人交谈——特别是你甚至不认识的人——需要真正的时间。那是你的技术、产品或解决方案团队本可以利用来在数据仓库中挖掘新的 AI 机会的时间。与个人的对话不可扩展，而且你无法设计以满足每个人的心血来潮和需求。

想象一下与人们进行一对一的对话，了解他们的问题、潜在需求、关注点以及对您解决方案的态度。当你的竞争对手在推动模型进入生产、挖掘你的高级数据科学家并推动比你更好的 AI 战略时，谁还有时间做这些呢？

伦理问题过去曾是一件麻烦事，但现在你的团队可以用一个点击为你的新产品、平台或解决方案注入道德观念！

看看四周：你已经雇佣了博士。你拥有才华横溢的分析师和数据工程师，今年在云上做出了重大投资。数字原住民会告诉你，速度胜过一切。你真的要坐在那里虚构 AI 出现问题的假设情景吗？你的竞争对手可没有这样做！当你在设计工作坊中坐着，并与可能不是你的客户的真实人进行同理心驱动的研究时，竞争对手正在将代码推向生产并提供令人难以置信的客户价值。

让我们通过一种易于附加的解决方案来承担你的伦理考虑的负担，这完全不需要任何人类干预。

如果你像很多公司一样，在设计考虑伦理因素的解决方案时，这是一种保险。你需要保护自己免受未来风险的影响；毕竟，你不希望类似于大猩猩指责这样的问题影响到你的公司，对吧？当然，你可以通过一个多样化的技能、部门和人群来解决你正在解决的问题，创建设计原型，并在投入生产之前与真实人群评估它们，但是你如何可能覆盖所有潜在的风险场景呢？

你不能。

这就是为什么我们推出了 Ethicize™ —— 一个简单的、即插即用的解决方案，解决未来伦理问题，100%由人工智能驱动。这就像是你数据科学解决方案的保险，几乎完全不需要人类干预。毕竟，领导你数据团队的人都是昂贵的员工。你希望他们专注于开发模型和解决方案，对吧？他们不是受过伦理学或设计培训的人。当然，你可以从一开始就应用以人为中心的设计，把同情心融入到你的解决方案中，但这也需要时间，而你的数据就像是一块黄金，等待被开采和塑造成客户价值。精益理论说你应该快速推出并获得反馈。即使你在与 Ethicize™ 的集成中出现问题，由于你使用敏捷开发，处理任何出现的伦理问题也不应该花费太长时间，对吧？这就是你使用两周冲刺的原因！

所以如果你愿意，你可以选择硬道理地去做伦理学，或者你只需点击“加入购物车”，Ethicize™ 就会开始在几分钟内将伦理学集成到你的解决方案中。选择权在你手中！

第三章：“道德”不是一个二元概念

Tim Wilson

Analytics 高级总监，Search Discovery 公司

在考虑数据的捕获、处理或使用时，公司被要求问自己，“这是否道德？” 问题的框架暗示答案只能是“是”或“否”。在许多情况下，这是可以的，但在更多情况下，答案并不像问题所暗示的那样明确。

是否道德秘密收集某人的个人数据，而不告知他们，然后将这些数据出售给多个第三方，用于有针对性的营销？ 不。

是否道德要求一个人同意追踪，仅用于分析和改善他们在网站上的体验，然后尊重他们的同意（或不同意）？ 是的。

是否道德给予一个人选择退出被追踪的选项，然后，如果他们不选择退出，追踪他们的行为并使用这些数据在他们浏览互联网时向他们展示有针对性的横幅广告？这很复杂。

就像欧盟的 GDPR 规定一样，这种追踪行为可能构成明显的违规，并可能使组织面临巨额罚款。但违规并不一定意味着不道德。（阻止某人访问网站，如果他们不同意被追踪也违反了 GDPR；可以认为这是完全合乎道德的——公司需要投入成本来创建和维护网站，因此公司应该可以在允许访问内容时施加任何限制——但实际上这也是违规的。）

在涉及到许多不同人群的不同信念和看法时，存在一个灰色地带。

一个人或一大群人可能完全不介意被追踪，可能讨厌访问网站时需要回应“同意”弹窗，并可能更喜欢看到与其相关的广告，而不是简单针对大众的广告。（“我宁愿看到一则关于登山装备的广告，因为我喜欢登山，而不是看到尿布广告，因为我的孩子已经十多年没用尿布了。”）这个人或群体会认为假设的“选择退出”场景完全符合道德：它给了他们想要的东西（少打扰的网站浏览体验和更相关的广告），代价低廉（组织在未经他们明确同意的情况下收集关于他们行为的数据）。

另一组人可能持有完全不同的观点：他们不相信公司会收集、存储和使用任何形式的关于他们的数据。他们希望在任何跟踪之前得到通知，并且希望有机会明确允许或禁止该跟踪（不仅仅是跟踪，还包括收集的任何数据的当前和未来使用）。对于这个群体而言，“选择退出”显然是不道德的。

当涉及数据收集和使用决策时，这种模糊性在现实世界中一再出现：对于问题“这是否符合伦理？”，答案将根据询问者和询问方式而异。数据伦理决策的经典试金石是，“如果我们对这些数据的处理或计划公开在纽约时报的头版，会否对公司造成负面公关影响？”事实上，几乎没有任何数据收集可以完全通过或完全不通过这一测试：人类是复杂的生物，对于他们产生的数据及能够捕获和使用这些数据的组织有复杂的感受。

第四章：警示伦理故事：颅相学、优生学……以及数据科学？

Sherrill Hayes

主任，分析与数据科学博士，

肯尼索州立大学

颅相学，取自希腊词根phren（意为“心灵”）和logos（意为“知识”），研究颅骨的形状和轮廓，表征人类的心智能力和性格特征。它最初由弗朗茨·约瑟夫·加尔（1758–1828）开发，并在 19 世纪成为国际公认的科学和实践领域。19 世纪兴起的一个相关科学领域，持续至 20 世纪，是优生学。尽管这些做法曾一度得到科学支持和广泛欢迎，但它们现在已经被完全揭穿。那么这些被证伪的伪科学与数据科学伦理有什么关系呢？当我们考虑它们的方法、应用和时代精神时，一些不寻常的共鸣在时间的洪流中回响，为我们提供了一个警示性故事。

那么，颅相学家和优生学家做了什么？

颅相学家使用卷尺和游标卡尺等科学仪器记录人们头部的大小并勾画其轮廓。他们认为大脑是一个器官，根据自然倾向或反复使用而生长或萎缩，因此一个人头部的大小、形状和凸起反映了大脑下的生长情况。他们利用这些特征的测量数据以及行为观察来推断个性和性格的某些方面。

优生学家采用类似的技术，但测量整个身体，特别关注生理差异。他们把工作基础建立在“社会达尔文主义”的形式上，推断这些测量数据指向某些种族特征的优劣，并鼓励选择性繁殖等过程来改善人口健康。长达一百多年，“颅相学”和“优生学”被认为是理解人类行为和生理变异的尝试，尤其因为它们受到看似无偏见的科学测量的支持。

问题出在哪里？

尽管颅相学和优生学具有准确的测量工具和有记录的发现，但结果基于错误的假设、收集不当的数据和非代表性样本。虽然颅相学家凭经验建立了他们的模型，但他们从这些测量中推断出的基础心理能力是通过研究他们认为具有这些能力的朋友（便利样本）创建的，并且在监狱和精神病院的囚犯中测试（偏倚样本）。优生学家在比较各组时也是有选择性的，主要使用这些工具和发现来支持当时根深蒂固的刻板印象和种族主义意识形态（确认偏见）。最终，优生学研究成为德国纳粹政权的国家社会主义种族卫生学基础，导致了近 1000 万被认为是劣等的个体的死亡。虽然我们现在可以回顾这些方法并对它们进行批评，但也很容易理解当时的个人可能相信这些以科学为外衣的结论。

数据科学又是怎样的呢？

数据科学是基于大量持续创建的数据的数量科学，通过复杂算法快速分析，显然在人群规模上，并且不带先验假设。很容易看出为什么它在商业和社会中获得广泛接受。数据科学家花费大量时间开发模型，并从表面上“自然发生”的现象中得出结论，这在大多数情况下是我们在数字生活中留下的痕迹。这些数字痕迹与我们头顶上的凸起、我们的腿长或我们鼻子的形状并无二致，这些都是告诉我们一些关于我们作为人类社会中重要信息的东西……对吧？

在他的书 Everybody Lies 中，Seth Stephens-Davidowitz 生动而有力地展示了 Google Trends 数据如何揭示几乎类似弗洛伊德潜意识行为的见解。¹ 这正是数据科学的力量的一部分——它可以告诉我们关于自己的事情，甚至是我们自己可能不自觉的（或者太害怕承认的）。另一方面，Cathy O'Neil 在她的书 Weapons of Math Destruction 中认为，人工智能和预测算法的好坏取决于输入的数据，而这些表面上没有偏见的算法和模型的结果往往只是对现有社会不平等的复制。² 而不是给我们提供预测未知的信息，O'Neil 提供了数据科学技术惩罚、边缘化和剥夺社会风险群体的例子。许多其他人也揭示了设计更注重效率而非准确性的 AI 算法背后的错误假设；一些面部识别算法的种族和性别偏见；在线广告更频繁地向男性展示高收入工作而不是女性；预测犯罪和刑罚算法对贫困人群和有色人种的歧视；二级数据市场的不透明性不公平地歧视了保险和信贷市场的人们；以及违反《美国残疾人法案》的招聘算法。

就像颅量计或股骨长度测量一样，数据科学工具可能在其测量方面是准确的，但所得出的结论可能不过是将后部 21 号的增大区与“爱情倾向”等同起来。除非数据科学家在开发其数据和方法时与学科专家合作，否则他们的结论可能基于错误的假设或不充分或有偏见的数据。主要问题在哪里？AI 算法涉及复杂的数学和计算机编程，超出大多数人的理解范围，但人们信任它们，因为“数字是客观的”。数据科学方法的复杂性往往意味着很难审查算法，使它们笼罩在科学的隐形斗篷中。过度相信某事因为它是科学做的是科技主义，而不是科学。

结论

虽然组织、专业机构、学术机构甚至政策制定机构试图制定道德准则（例如《GDPR》和《加州消费者隐私权法》）来限制个人和受保护群体的风险，但这些努力大多属于“反应性”伦理的范畴。这些努力的影响目前还不如它们试图影响的许多算法和统计技术清晰。

数据科学家必须有意识地与其他科学家合作，审视他们使用的数据，制定遵循的伦理准则，并且乐于接受对他们方法的批评。这对于避免被绘入科学主义和逻辑谬误的同一角落至关重要，这些曾导致过去其他不够严谨的科学运动的失败。否则，我们可能会发现我们的教科书和挂在墙上的数据可视化作品在 22 世纪的古老杂货店里。

¹ 塞斯·斯蒂芬斯-戴维多维茨，《每个人都撒谎：大数据、新数据及互联网如何揭示我们真实面目》（纽约：Dey Street Books，2017）。

² 凯西·奥尼尔，《数学毁灭的武器：大数据如何增加不平等并威胁民主》（纽约：Crown，2016）。https://weaponsofmathdestructionbook.com。

第五章：未来的领导力：如何面对道德透明性

Rado Kotorov

Trendalyze Inc. 的首席执行官

除了识别道德问题外，组织还需要准备好解决它们在道德决策中的角色以及员工的角色。我不认为公司有义务教导员工道德。我坚信企业的目的是以高效和盈利的方式提供商品和服务。在这方面，我支持米尔顿·弗里德曼的文章“企业的社会责任是增加其利润”。将道德和伦理教育留给家庭、教育机构以及宗教和其他信仰组织。

然而，我们生活在一个技术复杂的世界，在这个世界中，道德和伦理问题非常复杂和混乱。闭眼忽视它们并不是正确的选择。我认为公司有责任承认员工的道德和伦理关切。员工也有权利和义务提出这些问题。

平衡企业在效率和盈利方面的义务与承认员工对伦理道德问题的关注，使我得出结论，建立组织内部的完全道德透明性是未来的最佳选择。财务透明度为组织带来了奇迹，增加了责任感和表现。同样，道德透明度将帮助员工和组织做出可以自豪捍卫的选择，从而减轻每个人的道德困境负担。

让我们简要地探讨两种常见的道德实践。

1. Playing God

这种选择在伦理学中是众所周知的，涉及某人在交换某种更大社会利益时对他人生死的决策。这些通常被称为功利主义决策。例如，想象一位程序员被要求为自动驾驶汽车开发规则系统。自然地，程序员会在事故发生时尽可能拯救更多生命。但是在这不可能时，规则应该如何制定来选择两个个体之间？如果选择是在一个男人和一个女人之间，或者在一个孩子和一个成年人之间呢？另一个例子是当决策旨在根除自然界的物种时。想象一位生物工程师被要求创造一个基因，以根除所有携带疟疾的蚊子。这些选择是如何做出的？这些困境都是由技术进步造成的，因此传统上灌输伦理道德的机构很少教授或审查这些问题。

2. 道德失明

道德盲点提出了一个不同的问题。技术可以以一种完全掩盖其目的和最终用途的方式进行开发，以使员工无法识别。例如，一个数据科学家可能被要求为市场推荐系统构建一个心理画像分析算法，以便将网站访客与度假套餐匹配，而实际上该算法将用于政治画像分析，以影响选民的选择。公司可能这样做是为了保护商业秘密，或者因为他们知道道德问题可能会分散工作过程中的注意力，或者阻止找到员工。员工迟早会发现真正的问题，其中一些人可能无法承担道德负担。

那么问题就是：道德盲点应该被允许吗？我的立场是不应该。如果一个员工正在为自动驾驶汽车开发事故选择算法，他们应该知道这一点，因为他们在为生死抉择进行硬编码。他们不应该被告知他们正在为一个视频游戏构建算法。或者如果他们确实被告知了，他们还应该被告知公司可能会将该算法许可给自动驾驶汽车制造商。这肯定会影响算法的构建方式，甚至是否员工会构建这样的算法。

如何解决这类问题？

在道德透明的框架内，公司和员工有三个关键义务：

在工作场所披露潜在的道德问题。
研究和教育员工关于道德问题。
记录他们在道德问题上的个人和共同立场。

这三条规则提供了讨论的框架。今天，大多数道德问题将在生产新技术的公司中产生。因此，讨论需要从那里开始，然后扩展到吸引社会。技术领导者必须站出来，成为道德领导者，因为他们最了解他们的技术能做什么，不能做什么。

我承认行业正在进入一些未知的领域，技术世界中的道德问题是新问题。我们将面临的一些道德问题将考验我们的人类信念，但是没有哪一种进步能在没有应对艰难问题的情况下在几个世纪内获得。为了技术伦理的进步，必须进行开放和结构化的对话。

第六章：规则与理性

克里斯多夫·沃尔夫·布伦纳

咨询师，Know-Center GmbH

在艾萨克·阿西莫夫著名的科幻故事中，一套层次分明的法律作为核心，确保人工道德代理的伦理行为。这些机器人——既是计算机也是机器——能够高效处理复杂任务，而这些任务原本需要人类水平的智慧来完成。

阿西莫夫认为，他的规则集是理性人类与适应并灵活选择自己行动路线的机器人之间互动的唯一合适基础。今天，几乎 80 年过去了，自从 1942 年第一次制定这些法律以来，死忠粉丝仍然认为阿西莫夫的法律足以指导道德决策。然而，看看阿西莫夫在 1985 年最终确定的规则集，就会清楚地发现，单独应用这些法律可能无法产生我们所称的“好决策”：

零法则

一台机器人不得伤害人类，或者通过不作为，允许人类受到伤害。

第一法则

一台机器人不得伤害任何人类，或者通过不作为，允许任何人类受到伤害。

第二法则

一台机器人必须遵循人类给它的命令，除非这些命令与第一法则相冲突。

第三法则

机器人必须保护自己的存在，只要这种保护不与第一法则或第二法则相冲突。

阿西莫夫的自治伦理代理能够根据它们处理的世界信息和上述嵌入其人工大脑中的法律组合来评估情况并采取相应行动。然而，随着不同法律之间的冲突出现，机器人也能够反思、推理并得出合理的结论。这一微小且常被忽视的细节提供了一个初步的迹象，说明静态规则集可能无法单独充分支持道德决策制定，而艾萨克·阿西莫夫很可能已经意识到这一点。至少，即使他强烈推广法律的唯一适用性，他的情节通常围绕无法作出明确决定的边缘案例展开，因此需要进一步的推理。请考虑，如果你愿意，涉及自动驾驶车辆的事故，设置类似著名的电车问题：

一辆完全自动驾驶的汽车——在阿西莫夫术语中是一个机器人——正将一个人类（A）运送到目的地。突然，命运弄人，一些生物（B）出现在道路上。控制车辆的人工智能（即计算机）必须在一秒钟的分秒之间做出决定：采取规避行动还是继续前进。如果它尝试躲避 B，车辆打滑撞到树上，A 死亡，B 幸存。如果不躲避，A 生存，B 死亡。为了简化起见，我们假设附带损害是可以忽略不计的，或者在两种情况下是相同的。

基于这种边缘情景，我们可以推断出阿西莫夫法则存在两个主要问题。首先，如果机器人汽车必须在伤害人类和伤害非人类之间做出决定，非人类总是处于劣势。这导致了种族主义倾向的机器人——即，机器人因为某种生物的物种而对其偏爱或偏见。如果 B 是一组动物或某种动物的最后一批，我们肯定至少应该考虑撞死它们或它的后果。

其次，这些法则并不适合在可能发生对人类造成不同程度伤害的情况下支持决策。如果一个情景的所有潜在结果都涉及对人类的伤害，法则集将无法指导我们做出决定：如果所有替代方案都符合法则，它们是同等好的。如果结果可能导致一个人失去一只胳膊或另一个人失去两只胳膊，也没有优先选择。相反，阿西莫夫的法则纯粹设计用来优先考虑人类或整个人类群体。即使我们很容易基于理性辩护一个行动方案优于另一个，如果机器人只是遵循法则，它将无法这样做。

如果阿西莫夫的法则被视为机器人进行道德决策的基础，它们还需要能够在边缘案例中理性地辩护以争取更好的结果或反对更坏的结果。理性必须成为法则之间的粘合剂。但那么为什么首先使用静态法则？使用我们自己的理性来决定哪些行为是好的不是更容易吗？

第七章：理解被动与主动伦理

比尔·施马尔佐

日立研究院首席创新官

几位朋友挑战我参与 AI 伦理讨论。我确实没有接受过特殊的伦理培训。但话又说回来，也许我有。我从小就几乎每个星期天都去教堂（不仅仅是圣诞节前夕），并从《圣经》中学到了众多的“伦理”教训。所以，请恕我尽力分享我对 AI 伦理主题重要性的看法。

什么是 AI 伦理？

伦理被定义为统治一个人行为或行动的道德原则 —— 一个个人或社会群体普遍接受的“对和错”原则。 “对或错”的行为不容易用简单的数学方程式来编码。这也是为什么 AI 伦理讨论如此具有挑战性和重要性的原因。

要理解 AI 伦理困境，首先必须理解 AI 模型如何做出决策：

AI 模型依赖于创建与环境交互的“AI 合理代理人”，以学习与动作相关的奖励和惩罚。
“AI 合理代理人”寻求做出“正确”决策的奖励和惩罚是由AI 效用函数界定的。
要创建一个“AI 合理代理人”来做出“正确”决策，AI 效用函数必须包含一个综合定义的“价值”，其中包括财务/经济、运营、客户、社会、环境和精神价值。

底线：AI 合理代理人根据 AI 效用函数中表达的“价值”定义来确定“对”和“错”。

简单吧？

吓唬我的不是 AI 模型。迄今为止，我的经验是 AI 模型表现得非常出色。但问题是，AI 模型将努力通过 AI 效用函数所编程的方式来优化精确地。

这就是我们应该集中 AI 伦理讨论的地方，因为人类往往做出糟糕的决定。如果你怀疑这一说法，只需访问拉斯维加斯即可。人类努力定义衡量行动的规则有时会导致意外后果。

意外后果的后果

对于监控任何复杂商业计划的定义措施抄近路是幼稚的…最终是危险的。文章“10 个令人着迷的意外后果示例”详细描述了被认为是好的行动，最终导致灾难性后果，包括：

SS Eastland，一艘设计不良且笨重的船只，本意是通过增加几艘救生艇来增加安全性。不幸的是，救生艇的额外重量导致船只倾覆，从而使下层 800 名乘客被困并丧生。
凡尔赛条约规定了德国的投降条件，以结束第一次世界大战。不幸的是，这些条件赋予了阿道夫·希特勒及其追随者权力，导致了第二次世界大战的爆发。
Smokey Bear 森林火灾预防运动创造了几十年来极其成功的防火效果。不幸的是，这扰乱了对森林健康至关重要的正常火灾过程。结果是超级大火摧毁了一切，甚至是那些在正常火灾条件下已经屹立数千年的巨大松树。

通过汇聚多样化甚至是冲突的观点，全面讨论和定义 AI 效用函数，可以减轻意外后果和假阳性与假阴性相关的成本。

定义 AI 效用函数

正如前面提到的，要创建一个能够区分“对”与“错”行为的“理性 AI 代理”，AI 模型必须依赖于一个全面的 AI 效用函数，考虑到“价值”在各种常常冲突的维度上——例如，增加财务价值，同时降低运营成本和风险，并且提高客户满意度和推荐可能性，并且提高社会价值和生活质量，并且减少环境影响和碳足迹。

伦理学必须成为这些价值维度之一，如果我们要创建能够引导人工智能做出正确决策的 AI 效用函数。这让我们思考一个非常重要的概念：被动伦理与主动伦理之间的区别。

被动伦理与主动伦理

在讨论伦理问题时，我们必须考虑被动伦理与主动伦理的两难境地。这一切都始于我们很小的时候就听过的一个故事——善 Samaritan 的寓言。

故事讲述了一个犹太旅行者被剥夺衣物，被打败，倒在路旁等待死亡。先是一个祭司，然后是一个利未人路过，但他们都选择绕道而行，避开那个人。最后，一个撒玛利亚人路过，看到这个受伤的旅行者，决定帮助他。撒玛利亚人包扎他的伤口，用自己的牲口把他送到旅馆休息和疗养，并为旅行者在旅馆里的照料和住宿支付费用。

祭司和利未人都秉持着“不造成伤害”的被动伦理哲学。从技术上讲，他们并没有做错什么。而撒玛利亚人则奉行主动伦理，积极寻求“做好事”。

在由 AI 模型驱动的世界中，“不造成伤害”的思维方式是完全不足够的。我们的 AI 模型必须采纳主动伦理，努力“做好事”；也就是说，每一个 AI 模型以及指导其运作的 AI 效用函数必须积极地寻求做好事。

“不造成伤害”和“做好事”之间有着巨大的差别，善 Samaritan 的寓言很好地展示了这一点。

总结

让我们考虑一个简单的伦理测试，我称之为“妈妈测试”。它是这样工作的：如果你告诉你的妈妈某个特定事务中你做出的决定或行动，她会为你的选择感到骄傲还是失望？这个简单的测试可能会减少我们许多关于 AI 伦理的担忧。

作为人类定义 AI 效用函数以区分正确和错误决策的工具，我们必须理解被动伦理与主动伦理之间的差异。

第八章：小心“心之决策”

休·沃森

乔治亚大学特里商学院 MIS 教授

如今，公司和政府组织越来越多地使用深度学习等先进分析技术来部分或完全自动化决策制定。分析技术被用来进行贷款决策、建议缓刑或监狱判决、筛选职位申请者等。虽然这些算法可以加快、降低成本、提高效率，甚至使决策更公平，但也不是没有风险。凯西·奥尼尔在她有影响力的著作《数学毁灭之武器》（Crown）中以及其他人的论述中指出，算法可能增加不平等，拒绝服务和机会，甚至威胁到民主。

在 L·弗兰克·鲍姆的《绿野仙踪》中，锡人和稻草人之间的对话提供了一个有趣的视角，说明了在自动化决策时需要包括“心”和“脑”（即算法）：

“我不知道足够多，”稻草人愉快地回答道。“你知道，我的头是塞满稻草的，这就是我去奥兹要求他给我一些大脑的原因。”“哦，我明白了，”锡人说。“但是，毕竟，大脑并不是世界上最好的东西。”“你有吗？”稻草人问。“没有，我的头是完全空的，”锡人回答道，“但我曾经有过大脑，还有一颗心；所以，既然两者都试过了，我更愿意拥有一颗心。”

当决策可能严重影响到人们生活时，决策过程应该包括“心”和“脑”。开发的应用程序应当没有偏见，不会不公平地歧视某些人群；应当遵守日益复杂的法律法规；不会损害公司品牌；并且允许个人选择退出和/或获取决策原因的解释，并寻求补救措施。

在构建模型时，要注意不要引入意外的错误和偏见，这可能是由于模型训练/测试数据选择不当造成的。例如，在使用过去只录取学生数据的学院入学模型时可能会出现预筛选偏见。您必须知道如何处理在重要类别中只有少量观察值的分类数据。此外，您还应确保持续监控模型的准确性及其对不同人群的影响。

欧盟的 GDPR 于 2018 年 5 月生效，而加利福尼亚州消费者隐私法（CCPA）于 2020 年 1 月生效，两者都对个人数据的使用和共享设置了限制。GDPR 要求必须通过选择授权来收集任何个人数据；任何使用个人数据的请求必须具体明确；个人数据的收集和使用必须是为了特定和清晰理解的业务目的；并且公民有权利让他们的个人数据被删除（所谓的被遗忘权）。GDPR 的第 22 条规定：“[个人]应有权利不受仅基于自动处理的决定的影响。”CCPA 与 GDPR 有相似之处，但侧重于消费者隐私权和公司向客户披露所需信息。例如，公司必须在其网站上有一个标题为“不出售我的个人信息”的链接。

某些算法的使用虽然合法，但对商业有害。一个经常被引用的例子是 Target 使用预测建模来识别可能怀孕的女性，然后发送与怀孕相关的优惠券。当一名 16 岁的女孩收到这样的优惠券并且她的父亲抱怨这些优惠券促进了未成年怀孕时，问题就出现了（后来他发现她确实怀孕了）。这个故事被《纽约时报》、《财富》和其他广为人知的出版物报道，并且给 Target 的品牌带来了污点。

人们应该能够要求并收到关于为什么做出决定的解释。美国计算机协会（ACM）的公共政策委员会和 ACM 欧洲政策委员会分别和共同工作，制定了确保个人数据和算法公平使用的七项原则。第四项指导原则是解释的需要——即当被问及时，能够用人类术语传达算法的逻辑。个人还应该能够质疑自动化决策和/或了解可以采取什么措施加以补救。由于一些最强大的预测模型（例如深度学习）的“黑箱”特性，这一要求可能具有挑战性，并可能导致使用在人类术语中更可解释的、预测力略低的模型（例如决策树）。

为了满足对算法合法和道德使用的需求，特别是涉及到涉及心理决策的算法，数据科学家需要采用更广泛的视角来审视他们的责任，并且公司需要扩展他们的治理（例如人员、委员会和流程），包括他们的法律人员和与客户接触的业务人员。

第九章：机器学习算法时代的公平性

安娜·雅各布森

加州大学伯克利分校数据科学硕士候选人

在数据科学领域进行的所有激动人心的工作中，机器学习算法（MLA）是吸引最广泛关注的进步之一，对许多人来说，它是数据科学领域未来最有前途的领域。然而，就像所有强大的技术一样，机器学习算法也存在成为世界破坏性力量的风险。

早期机器学习算法的应用包括电子邮件垃圾邮件过滤、图像识别以及娱乐推荐系统。在这些低风险的环境中，任何错误的代价都很低，通常最多只是轻微的不便。然而，随着它们开始应用于人类，如在预测性警务中，机器学习算法的错误成本显著增加。尽管机器学习算法训练过程表面上看起来是客观的，但有时会导致从人类角度看来偏见和不公正的算法输出。在高风险环境中，产生不公平结果的机器学习算法可能会造成巨大的伤害。

在机器学习的实践中，算法的质量是根据其准确率（正确结果的百分比）、精确度（不将负样本误标为正的能力）或召回率（找到所有正样本的能力）来判断的，公平性是一个难以捉摸的概念。决定这三种度量中哪一种最能代表公平性并不总是直截了当的，而且在一个度量指标上的改进可能会导致其他指标的下降。

从根本上说，机器学习算法的公平性取决于数据本身。如果底层数据在任何方面都存在偏见，那么这些结构性的不平等可能不仅会被复制，甚至可能在算法中被放大。机器学习工程师必须意识到自己的盲点；他们对训练数据所做的所有小决定可能对其工程技术一样有重大影响。然而，更为问题的是，社会问题如歧视和排斥深深扎根于我们周围的世界之中，因此它们也存在于我们从世界中提取的数据之中。

实现算法公平性似乎与实现人类主导系统的公平性一样困难。人类系统在所有算法系统存在偏见的方式中都存在偏见，而人类还以机器无法做到的方式存在偏见。然而，算法系统可能既不那么显眼也不那么透明：通常，人们不知道正在使用算法来做出影响他们的决定—即使他们意识到了，算法也呈现为一个复杂、不可知的“黑箱”，根本无法看到，更别说理解了。

为了提高算法的公平性，必须采取三个明确的步骤：

首先，我们必须做得更好，以确保用于训练算法的数据质量。例如，所有受试者应有平等的机会在数据中被代表，这意味着可能需要额外的努力来获取传统上未被充分代表的群体的数据。此外，模型还必须定期用新数据重新训练，以开始消除历史偏见，尽管这会增加额外的费用。
其次，在机器学习领域内，必须在整个行业标准化流程，以尽可能消除工程过程中的偏见。这应包括一系列方法，包括为工程师提供类似情报分析员定期接受的无意识偏见培训；类似于科学研究严格同行评审的工程协议；以及独立的后实施审计，评估算法公平性的质量，评估算法的标准不仅限于标准工程指标，还包括其对受其影响最脆弱的人群的影响。
第三，MLA 必须在我们社会中被揭示，以便我们都知道它们在影响我们生活的方式上的使用；一个信息充足的公民群体对于保持创建和使用这些算法的团体的责任性至关重要，以确保它们的公平性。我们在宪法上有权获得正当程序和平等保护；我们应将这些权利解释为包括了解用于输入的数据以及在使用 MLA 时生成的任何输出的权利。

采取这些步骤将需要社会各界的深刻变革，涵盖多个利益相关者和多个领域。在一个法律和传统从未预见到 MLA 力量的世界中，确保机器学习系统公平性的责任属于所有在其中工作或与之合作的人。随着 MLA 在我们社会中的普及，人类在处理这一问题上的角色变得愈发关键，以确保这项技术兑现其造福社会的承诺，而不是潜在的危害。

参考资料

维亚切斯拉夫·波隆斯基，“缓解预测正义中的算法偏见：AI 公平性的四个设计原则”，Towards Data Science，2018 年 11 月 23 日，https://oreil.ly/TIKHr。
加尔·约纳，“算法公平性讨论的初步介绍”，Towards Data Science，2017 年 10 月 5 日，https://oreil.ly/NbVOD。
莫里茨·哈特，“大数据的不公平性”，Medium，2014 年 9 月 26 日，https://oreil.ly/kNrtx。
朱莉娅·安格温，杰夫·拉尔森，苏里亚·马图和劳伦·柯克纳，“机器偏见”，ProPublica，2016 年 5 月 23 日，https://oreil.ly/b41AW。
Hugo-Bowne Anderson，“数学毁灭的武器（与凯西·奥尼尔）”，2018 年 11 月 26 日，在DataFramed，播客，55:53，https://oreil.ly/5ScpO。
Kate Crawford 和 Jason Schultz，“大数据与正当程序：走向补偿预测性隐私伤害的框架”，波士顿学院法律评论，第 55 卷，第 1 期（2014 年 1 月 29 日），https://oreil.ly/X_W8h。
“关于预测性警务的关注声明由 ACLU 和 16 个民权、隐私、种族正义和技术组织共同发表”，美国公民自由联盟，2016 年 8 月 31 日，https://oreil.ly/_hZHO。
Sam Corbett-Davies, Emma Pierson, Avi Feller, and Sharad Goel，“一个计算机程序用于保释和判决决策，被标记为对黑人有偏见。事实上并不那么清楚”，华盛顿邮报，2016 年 10 月 17 日，https://oreil.ly/cQMJz。
Mark Puente，“洛杉矶时报在批评后放弃一些犯罪数据程序”，洛杉矶时报，2019 年 4 月 5 日，https://oreil.ly/JI7NA。

第十章：数据科学伦理：什么是基础性标准？

Mario Vela

美国电信公司首席数据科学家

要解决任何领域的伦理问题，包括数据科学在内，我们首先需要问自己应该使用什么标准来定义什么是“好”和“坏”。了解这样一个标准的重要性是基础性的，因为选择错误的标准可能会导致对“好”和“坏”的错误定义，并在社会以及本案例中在数据科学的实践和使用中产生各种后果。因此，这一标准必须是绝对的，因为如果它改变了，那么“好”和“坏”的含义也就失去了，我们就陷入了道德相对主义之中。

Peter Kreeft 建议，要谈论伦理学，我们必须问自己：在我们日常生活中使用的道德标准是什么？¹ 如果我们不能很快回答这样的问题，我们应该通过逻辑和理性来寻找答案。Kreeft 认为，要回答这类问题，我们有两个选择：要么我们的核心道德价值观是客观的，要么它们是主观的；它们像科学家发现物理定律一样被发现，或者像游戏规则或艺术作品的规则一样被创造。他还指出，古代文化认为核心道德价值观是客观的，直到近代社会才开始认为这些核心道德价值观是主观的、人为的，并且可以随时间改变。后一种情况被称为moral relativism，这是现代社会中广泛存在的一种危险意识形态。

无论我们相信哪种选择，都会对实现良好的数据科学道德规则的目标产生重大影响。例如，如果我们相信道德价值观是客观的，我们应该“找到”它们，但如果我们认为它们是主观的，那么我们必须“创造”它们。

对于数据科学而言，实际影响是我们应该就客观或主观的道德价值观伦理问题采取立场。如果我们决定道德价值观是客观的，我们应该确定那些不变的核心道德价值观，并围绕它们建立我们的伦理分析实践。相反，如果我们说道德价值观是主观的，那么我们需要创造这些道德价值观，并在社区中达成共识使用它们。

每个选择都有挑战，但我们知道只有一个必须是真实的。主观道德价值立即将我们带入危险的道德相对主义，这可能会被利益相关群体滥用，并暴露出采纳问题，因为并非所有利益相关方都可能同意它们。另一方面，客观道德价值面临的挑战在于，为了不陷入主观的方法，这些道德原则需要被发现，而不能由人类创造出来。它们必须独立于我们存在，正因如此，它们的好处在于无法置疑，并且提供了更少的采纳阻力。因此，这种探索应该引导我们进行形而上学的研究和探讨。

我希望提出，在这种形而上学探讨中，我们将不仅找到我们数据科学实践所需的客观伦理标准，而且还会获得一个美丽而充实的邂逅——一个能够改变我们生活并在诸如数据科学伦理等复杂主题上提供清晰见解的个人邂逅。

¹ 彼得·克里夫特，《伦理学：道德思想史》，录音书，2004 年。

第十一章：理解你的领导为谁服务

哈桑·马苏姆

Prodigy Education 的高级分析主管

当涉及伦理和技术时，你可能有良好的意图。但如果你的领导真正为你想帮助的人服务，你会发现将良好意图付诸实践是困难的。

这就是为什么理解你的领导为谁服务很重要。你的组织的领导是以自我为中心，还是作为仆人领袖？你的领导是否将你的组织服务的人视为可利用的资源，还是合作伙伴来帮助其蓬勃发展？在试图回答这类问题时，花些时间了解你的领导说和做了什么。

如果你所在组织的高层领导为你希望帮助的人群服务（希望包括你的团队和客户或顾客），那么你有希望将伦理实践到位。（这很少会容易，但至少可能。）如果不是这样，那么你将不得不不断地逆流而动，以保持在伦理上的浮动状态。

如果你的领导真正为你希望服务的人服务，那么应用价值观可以帮助你和你的领导更有效地服务。对于数据科学家来说，一些特别相关的价值观包括透明度、理性、智力谦逊和建设性怀疑精神。如果你精通这些价值观的生活方式，那么向你的同事展示或教授这些价值观。要谦虚：对你来说至关重要的价值观在别人的情境中可能是可选的，即使你们都为同一群人服务。

从你自己到高层的“价值链”理解将阐明你可能的伦理运作空间。问问自己：我是否理解我所在组织生活的价值观，这些价值观如何帮助或伤害我们和我们服务的人？我希望在我的组织中看到哪些基本价值，以帮助其长期生存并让我为在这里工作感到自豪？我能与他人合作推广被忽视的基本价值吗？如果不能，我想在这里工作吗？

在某些时候，你的道德环境可能促使你考虑换工作或寻找更符合价值观的机会。你可能觉得希望自己的能量和才华为你认同的价值观服务。如果你对此感觉强烈，那么在寻找或创建新机会时就要问问有关文化和道德的问题。即使某事既有利可图又合法，你的面试者的组织会做什么不做？组织在追求短期利润最大化目标之外的指导原则是什么？它如何将业务成功与服务其用户的最佳利益保持一致？作为企业家自己，你如何回答这些问题？

即使您觉得您的领导在原则上是出于善意，他们（以及您）也受到您的组织所处的广泛环境的影响。一个常见的影响来自于普遍存在的金融压力，这在追求利润最大化和竞争激烈的环境中尤为突出。当一个法律上可以接受但在道德上具有争议的选择“是”的时候，您何时以及为什么应该说“不”，这可能有助于您发展业务或者捍卫业务免受竞争对手的攻击？

如何应对这些压力，你可能希望寻求来自组织外部的视角。其他人是否面对过类似问题？如果是，他们是如何处理的？您可以加入哪些行业、学术或非营利组织，以帮助您在道德决策中避开险滩？是否需要行业范围的解决方案来设定算法标准或倡导更好的监管，以阻止竞争的恶性竞争？还是逻辑上的范围是社会范围，暗示着政治和公民联盟？

随着您关注的范围扩大，您可能会感到不知所措。处理这种情况的一种方法是专注于您感到最投入的道德尺度（无论是您的团队、组织、专业、部门还是整个社会），并寻找同样感觉的人。

无论您关注的是哪个范围，都有一些关键问题需要回答：您的系统是为了什么，为谁服务？这是如何被纳入规则、激励措施和算法中的？（参见蒂姆·奥莱利的书籍 WTF? What’s the Future and Why It’s Up to US [Harper Business]，了解背景。）

无论是建立人类团队还是人工智能或分析解决方案，如果您了解您的领导为谁服务，以及轮到您领导时应该为谁服务，您可以做出更好的选择。

第二部分：数据科学与社会

本节展示了社会规范如何与我们在追求分析和数据科学计划时面临的伦理问题交叉。这些提交有助于将伦理数据科学置于更广泛的背景中。

第十二章：不偏不等于公平：对于数据科学而言，不能只关注数学问题。

Doug Hague

北卡罗来纳大学夏洛特分校数据科学学院执行主任

当我深思数据科学中的伦理影响时，有一件事对我变得非常明显：数据科学家喜欢数学！这并不奇怪。但是当我们建立模型并做出伟大的预测时，我们往往将关于伦理的讨论简化为数学术语。我的对白人美国人的预测和对非洲裔美国人的预测相同吗？女性的预测是否等同于男性的预测？我们制定混淆矩阵并测量预测的准确性。或者也许灵敏度（真正例率）或特异性（真负例率）很重要，所以我们为各个子群体进行平衡。不幸的是，数学家们已经表明，虽然我们可以在真实数据集上平衡准确性、特异性或其他偏见度量，但我们不能平衡所有这些并创建完全无偏见的模型。因此，我们在所提供的框架内尽力而为，并宣称我们的模型是公平的。

在研究了相关问题和应用之后，我断言平衡偏见的模型并不公平。公平真正关注的不是数学，而是个体观点、社会文化规范和道德。换句话说，公平由社会系统和哲学定义。

例如，在刑事司法中，累犯模型预测被捕人员在获得保释后是否会再次犯罪。作为被起诉的个人，您认为误判率应尽可能低，这样您就不会在不应该被关押时被关押。然而，普通市民希望尽可能降低误放人员再犯的可能性，因此希望将假阴性率尽可能降低。平衡这两者是一个权衡，双方都会说这不公平。而且我们甚至还没有开始讨论数据和系统中导致非裔美国人被不成比例地关押的偏见问题。

当人们考虑数据科学的伦理影响时，很快就会讨论模型被部署到的社会的文化和道德规范。当数据科学团队部署模型时，必须考虑这些文化规范。功利主义及其衍生物在西方社会中很常见；在这里，整体利益的角色被辩论，个体利益和共同利益之间的平衡被讨论。在其他文化和地理区域，不同的哲学构想得到青睐。了解模型将触及哪些文化以及它将如何触及它们，对于实现部署模型的公平性至关重要。

理解模型部署所处的系统同样重要。随着模型的部署，它们进入一个运行系统。根据具体情况，经常在模型预测之后做出决策。通常数据科学家根据数学预测开发和衡量模型的准确性。然而，测量整个系统和模型预测之后发生的决策同样重要。此外，人在回路模型通常被认为更准确；然而，它们是否也更少偏见和更公平？在人为因素参与的情况下，偏见可能重新蔓延到决策中。此外，如果有多个决策者，不同的人会带来不同水平的信息以及文化差异。这些差异每一个都可能导致系统偏见和公平问题，即使模型经过调优和准备，力求尽可能公平。应该为模型结果以及系统结果制定运作框架并进行性能衡量。我认为许多关于公平和歧视的诉讼之所以发生，是因为双方对情况的框架不同。在各自的框架内，每一方都是“正确”的，但陪审团会认定哪个框架更公平？

作为负责任的数据科学家，我们应该将我们的道德考虑扩展到模型的数学偏差之外，包括文化和社会对公平的定义，而我们的模型部署应考虑到系统的结果框架，而不仅仅是模型预测。

第十三章：信任、数据科学和史蒂芬·柯维

詹姆斯·泰勒

首席执行官，决策管理解决方案

当涉及数据科学时，信任至关重要。“黑匣子”算法、对偏见的担忧以及数据科学家可能对数据了如指掌但对业务一窍不通的感觉，都会削弱对数据科学模型的信任。事实上，建立能够被信任的数据科学模型被视为许多数据科学团队的关键问题。

史蒂芬·柯维曾经写过一个关于信任的著名清单——高信任领导者的 13 种行为。其中五种行为与领导力特别相关（直言不讳，表现关切，纠正错误，展示忠诚，信守承诺），而其他行为为数据科学中建立信任提供了一个很好的框架。

先听取意见

或许数据科学团队在建立对其模型的信任方面最重要的方式是开始倾听他们的业务伙伴——即，询问业务人员如何决策以及他们希望如何决策，并真正倾听他们的回答。如果业务伙伴感觉被听取了，他们就更有可能信任数据科学团队创建的解决方案。例如，与他们合作制定决策模型，可以建立对决策的共同理解和被倾听的感觉。

扩展信任

希望他们的模型能被信任的数据科学家们需要向他们的业务伙伴们展示信任。业务人员可能会错误地判断哪些因素最重要，阈值应该是多少，公司有哪些客户细分，以及其他许多问题。数据科学家应该抵制仅仅认为数据可以回答所有这些问题而不需要业务专家输入的诱惑。这会给人一种业务人员的专业知识不被信任的印象，并使提供可信数据科学变得更加困难。从扩展信任开始。

澄清期望

在构建数据科学模型以影响决策之前，请确保期望明确。如果数据科学能轻松融入当前决策中，并提高其准确性，请明言。如果数据科学可能会扰乱当前方法，并需要重大组织变革，请说明。使用决策模型澄清正在开发的数据科学使用的期望。

直面现实

不要假装组织会因为数据科学团队的建议而改变决策方式。事实上，许多决策受到法规的限制、政策的驱动以及目标的推动。新的数据科学结果可以在理论上改善决策，“实际上”要改善决策，必须直面现实。共享对决策方法的理解，以决策模型的形式，是关键。

创建透明度

数据科学中的透明性——可解释的人工智能——已经得到了很好的建立。真正的成功还需要透明地展示数据科学将如何被使用。你必须能够展示分数如何被用来改变决策，并影响业务结果。清晰、共享的理解围绕数据科学的决策制定是关键。

交付结果

精度提升和模型精确性并不是结果。改善业务结果才是结果。数据科学团队的工作是改善业务结果，这意味着改善实际决策方式，而不仅仅是产生数据科学输出。提供你的商业伙伴关心的结果。使用决策模型将数据科学结果放入业务背景中。

实践责任制

对你的商业伙伴负责任。记住，除了与你一起工作之外，他们还有其他事情要做，还有其他项目需要支持。不要忘记他们有业务目标需要实现，而数据科学需要帮助他们实现这些目标。要对业务问题负责，不仅仅是对分析解决方案负责。

变得更好

数据科学中最重要的一课是持续改进至关重要。不要试图开发一个完美的模型。开发一个最小可行的数据科学产品并将其投入生产，看看它如何影响业务结果。收集关于决策如何进行以及数据科学如何被使用（或未被使用）的数据。看看这在业务术语上运行得有多好。改进数据科学。重复以上步骤。当你建立了一个模型时不要就此收工；专注于如何现在和将来帮助业务变得更好。

信任在数据科学中非常重要。要建立信任，你必须先倾听，扩展信任，澄清期望，面对现实，创建透明度，交付结果，实践责任制，变得更好。

第十四章：伦理必须成为数据科学课程的基石

Linda Burtch

Burtch Works 董事总经理

我们都看到过这样的标题：公司未经许可收集个人数据，意外使用带有歧视性的算法，或者出售私人数据访问权，以及其他公司数据文化出现问题的例子。

在本书的另一篇文章中，我讨论了企业在处理造成这些类型伦理问题的工作文化时的责任。这使我想知道：我们如何能够在数据科学社区中灌输更多的伦理考量，以防止这些灾难的发生？

长期以来，伦理一直是追求金融学位和 MBA 的课程的一部分，尤其是在过去几年中，我们在数据科学硕士课程甚至在线学习课程中看到了更多这类课程。在我看来，要解决这个似乎提供了无边界个人数据的时代带来的日益增多的伦理困境，伦理必须成为任何数量化学习项目的基石，包括传统学术学位、数据科学训练营、MOOC（大规模开放在线课程）等等。

我知道，我知道。对于数据科学家的数学、统计学和计算机科学课程已经很丰富了，学习的范围也很庞大。我也意识到，在雄心勃勃的数据科学家的学术板上再添加更多内容是一个很大的要求。然而，数据科学家必须对他们正在进行的项目有一个更大局的理解，以及他们的工作可能对不同群体产生的后果。如果算法在开发时没有考虑现有的社会因素，它们很容易会强化那些可能会被敏锐的数据科学家揭示出来的歧视性做法。我们已经看到了这些情况如何在健康护理等特别敏感的领域中发生，隐私至关重要，而对护理的访问并不总是公平的。

数据伦理项目还必须考虑目前的立法和对个人数据收集的考量：人们是否知道正在被收集哪些数据？他们知道他们的数据如何被使用吗？他们有选择退出的选项吗？他们的数据是否被负责地存储和保护？他们的数据是否未经他们同意而出售给第三方？

数字时代的立法在这一领域明显滞后，甚至在某些情况下，这导致公司简单地忽视潜在的伦理后果，因为法律还不存在。但对于明日商界领袖——数据科学家的后代来说，在他们的学习课程中灌输这种责任和大局思维，将教会他们从一开始就开始考虑这些问题。

如果我们不教会数据科学家如何考虑这些情况中的所有潜在角度，他们如何能够提供负责任的分析和见解给他们的公司呢？即使隐私法律和公众对隐私的看法已经发展，它们显然无法跟上技术发展的步伐，而这些技术如果不加控制可能会造成巨大的危害。

此外，灌输这些关于伦理的批判性思维技能将为数据科学家提供他们需要的信息，以便更明智地决策如何引导公司战略。我一再强调过，那些对分析有深入理解的人应该负责经营公司，而这种理解应包括如何负责地利用分析来推动企业的目标，而不会在未来暴露企业于潜在丑闻之中。

随着世界越来越依赖数字资源，我们可以利用的数据量正在呈指数增长，而这种增长没有任何停止的迹象。我毫不怀疑，在五到十年内，我们将面临更多伦理困境需要解决，因为我们继续整合不同的数据来源，并找到从数据中挖掘所需信息的新方法。我们能否成功地应对这一过程将取决于量化专业人士是否已经掌握了批判性评估我们每一步走向的知识和伦理心态。发展这一知识基础必须从数据科学课程开始。

第十五章：数据叙事：事实与虚构的临界点

布伦特·戴克斯

作者兼高级主任，洞察与数据叙事，

分析爆破

数据与叙事一直有着有趣的合作关系。虽然它们常常交织在一起，但有时也被视为对立的。例如，如果某事被视为“轶事”，它通常会带有一丝（或者可能是重重的）怀疑。因为它基于个人经验或叙述，轶事信息被视为不如事实信息真实或可靠。甚至“故事”一词也可以用作谎言或误导性信息的同义词。因为故事通常更具情感性质，它们可能被视为具有操纵性。

另一另一方面，事实一直享有纯净、可信和公正的声誉。当人们要求“仅仅是事实”时，他们寻求一种更高标准的真理，这种真理是无可争议的，不受观点或信仰的污染。然而，在我们目前的后真相时代，事实信息的声誉正受到伪装成“替代”事实的虚假信息的威胁。过去从未受到质疑的数据，现在因为信息的分享者或其与首选信息的对齐问题而被怀疑。

在组合起来时，数据与叙事可以形成一种强大的结合体，在其薄弱的领域互相增强。在后真相环境中，我们必须更加严谨地编织和讲述数据故事。尽管数据叙事主要与数据可视化相关，但叙事仍然是数据叙事的一个关键支柱。我们如何围绕数据形成故事，将使我们的洞察更具吸引力、说服力和记忆点。然而，我们可能会遇到一个临界点，叙事可能会压倒数字，事实可能会变成虚构。如果我们想以可靠、道德的方式分享洞察，我们必须注意我们可能会跨越事实/虚构界限的方式。

理想情况下，数据故事应该是分析或研究的产物。换句话说，数据故事是建立在基于证据的基础上的。当叙事在任何数据涉及之前形成时，问题可能会出现。你可能会选择只选择符合期望故事的事实，而不是围绕相关观察和洞察编织叙事。当数据必须支持预定的叙事时，你可能无意中或故意地做以下事情：

限制自己使用更狭窄的数据集
调整数字以与你的信息对齐
遗漏可能会澄清数据的背景信息
曲解数字的实际含义
以误导性的方式可视化数据
排除或贬低破坏你叙事的相悖数据
忽略支持数据中的关键信息不一致
依赖可能存在问题来源的可接受数据

用数据验证假设或直觉与挑选事实来证明决策或支持某个议程是不同的。当你已经心中有一个预定的故事情节（例如，我们做出了正确的商业决策），你就没有那么多灵活性来倾听数据实际在说什么（例如，这可能不是最佳的决策）。你的数据故事的路径会更为固定，它的目的地也是固定的。除非你愿意根据数据揭示的情况调整你的叙述，否则你可能会潜在地损害整个数据叙述的完整性。

如果一个叙述在不合理地影响数据的方向和选择，你的数据叙述可能无意中从事实变成虚构。在那一刻，数据就变成了可疑的装饰，而不是你数据故事中的锋利工具。在数据叙事中，事实应始终指导叙述，而不是相反。只有当数据和叙述以正确的方式结合时，它们才能形成强大而引人注目的数据故事，这些故事在道德上是可靠的——而不是扭曲和误导的虚构故事，而是指导和激励人的真实故事。

第十六章：知情同意和数据素养教育对伦理至关重要

Sherrill Hayes

分析与数据科学博士，主任，

肯尼索州立大学

任何伦理学的关键要素之一是参与者“知情同意”的理念，这些参与者为了他人的利益而付出自己。对于任何由联邦资助的研究或大多数大学内进行的研究，知情同意是研究伦理的核心部分，但通常私营公司进行的研究不需要此项规定。

在数据伦理的情况下，并不总是清楚个体是否理解（或甚至对）下载新应用或在其 Web 浏览器上使用 cookie 时接受的条款和条件。虽然“点击同意”已成为通过法律测试的一种接受方式，但并不总是通过确保人们对这些条款和条件有理解的伦理测试。由于欧洲的 GDPR 和美国的 CCPA 等倡议，人们对隐藏的条款和条件有了更多的了解，并有了退出某些类型追踪的方式。虽然人们很高兴点击“确定”以“免费”获取东西，但他们有限的理解是，通过访问他们的数据，这些数据被使用和/或转售来支付他们的访问。目前，对于那些希望访问特定应用程序或网络上的材料但选择退出的人来说，选择不共享您的数据意味着您很可能无法访问某些网站、应用程序和其他材料。

考虑到数据科学工具和技术已经对人们的日常生活产生了广泛影响，似乎有必要让儿童和青少年接触这些思想，并能够有效地提供（或撤回）他们的同意。这一举措将需要开发中学和高等教育的正式课程，其中包括强调“数据素养”的部分。埃伦·曼迪纳奇和伊迪丝·戈默将“数据素养”定义为

有效理解和利用数据来支持决策……这些技能包括如何识别、收集、组织、分析、总结和优先处理数据。它们还包括如何提出假设、识别问题、解释数据，并确定、计划、实施和监控行动方案。¹

发展将数据素养融入高中和大学课程的策略面临两个关键挑战。首先，数据科学与数学、统计等现有学科密切相关，而许多学生在有机会选择时可能会选择退出这些课程，因为他们觉得这些课程很具挑战性。詹妮弗·普雷斯特利提出了“数据科学的层次结构”，其中数据科学家必须从数学基础开始学习，以理解统计学和计算机科学的核心概念，并且必须发展相关的建模和分类技能，并完善他们的结果沟通能力。²其次，这些概念对个体、社会、政治和经济生活的影响远远超出了学习数学公式和编程语言的范围，因此这些概念需要贯穿整个课程。为了帮助教育工作者，我提出以下框架，帮助理解数据素养并将其融入和贯穿于课程中：

数据意识化

第一阶段代表着意识到你正在与之交互的技术正在产生数据。个体可能是技术的能力使用者，但却未意识到他们通过与技术互动而创建的“数据轨迹”。在这个层次，个体需要开发与社交媒体（社会学）、物联网（科学与工程）和数据市场（经济学、数学）相关的入门水平。这些个体还需要一些统计学和计算机科学知识，以理解数据收集的性质、编码基础、基本统计技术（例如描述性统计、可视化）和研究设计。为了帮助他们学习这些信息，学生们应该在教科书中进行案例研究，并可能被分配基于项目的学习（PBL）机会，与跨学科的教师合作。这种学习方式适用于大多数高中和早期本科课程。

数据信息化

第二阶段代表了理解不同形式数据的能力。这包括识别“结构化”和“静态”数据（例如调查数据、交易数据）以及“非结构化”和“动态”数据（例如图像、语音数据、文本数据、基于传感器的数据）。基本技能如数据组织和清理以及更高级的技术如数据挖掘、文本挖掘和数据抓取也应该被介绍。对不同形式和分析的认知对于向学术和非学术观众展示数据具有重要意义。这适用于大多数本科课程和专业培训。

数据素养化

第三阶段代表对各种数据形式、采集技术和分析方法的方法论优势、弱点和潜在问题的深入了解和知识。个人不再依赖软件包（例如 SAS、SPSS），而是开发自己的模型和程序。这第三阶段适合高级本科生、研究生和学术研究人员。

这种数据素养模型应该作为现有学科训练的补充，包括理论、研究设计和定性研究，因为这些内容提供了广度和背景。此外，学生们应该深刻理解如何道德地对待数据中所代表的人群。通过建立这种自下而上的方法，可以帮助缓解由于填补数据科学技能鸿沟而产生的一些伦理和研究质量问题。在跳过科学、方法和伦理，直接进行分析建模和可视化的过程中，往往忽视了“点与点”软件中嵌入的算法实际上是如何工作的。这些练习经常产生毫无意义的输出，甚至更糟，是建立在有偏数据上的（非故意的）算法，对个人、群体或整个社区造成严重后果³。随着越来越多的教育工作者将数据素养策略纳入其高中、本科和研究生课程，这种简化的框架将需要进一步的修改；然而，这应该是一个动态对话的起点。

¹ Ellen B. Mandinach 和 Edith S. Gummer，《在教育工作者准备中实施数据素养的系统视图》，Educational Researcher 42 卷，第 1 期（2013 年 1 月 1 日）：30 页，https://doi.org/10.3102/0013189X12459803。

² Jennifer Priestley，《马斯洛数据科学的层次结构：为什么数学和科学仍然重要》，Data Science Central 博客，2019 年 2 月 12 日，https://oreil.ly/SFmnZ。

³ Cathy O’Neil，《数学毁灭的武器：大数据如何增加不平等并威胁民主》（纽约：Crown，2016 年）。https://weaponsofmathdestructionbook.com。

第十七章：首先，不要伤害

艾瑞克·施密特

可口可乐全球数据与分析总监

现在是 2019 年 10 月，我正在亚特兰大历史医学学院参加一个数据科学会议。在男性洗手间的一个角落里，不起眼地摆放着希波克拉底的半身像，这位职业伦理学之父的半身像旁边还有一个写着希波克拉底誓言的牌匾。希波克拉底誓言的基本精神是primum non nocere，即“首先，不要伤害”。这是一个非常好的概括，代表了一个数千年来一直存在的伦理框架。作为一个新兴的专业领域，数据科学正处于定义我们伦理框架的初期阶段。

当我凝视着希波克拉底的半身像时，我想问他：谁来定义伦理？科技公司的领导者一直在这个讨论的中心，但我想知道他们是否在利用已有的伦理哲学来解决这个问题。与其发明新的框架，拉里·佩奇、谢尔盖·布林、马克·扎克伯格、史蒂夫·乔布斯、拉里·埃里森、比尔·盖茨、杰夫·贝索斯或者马云能从苏格拉底、孔子、霍布斯、洛克、康德和尼采那里学到关于数据隐私或其他现代伦理困境的什么呢？例如，霍布斯和洛克可能会因社会契约理论的差异而试图说服扎克伯格朝着更或者更少绝对政府管制的方向发展。如果我们将数据科学的伦理问题留给技术官员，并允许公司按照它们的天性行事，他们会像霍布斯所说的那样驱使社会走向无情吗？当然，我们可以在企业行为中找到这种无情的证据。

在大多数职业中，从业者定义了伦理。比如“律师与客户的保密权”，“保护与服务”，“寻求真相”，“不泄露你的消息来源”，“为人民服务”：这些口号都概括了一个职业的伦理准则。虽然这些准则可能在历史伦理哲学的基础上有些依据，但职业是在从社会中得到反馈的过程中发展出他们的伦理，随着标准的演变而更新。最终的伦理准则只有在从业者对其进行解释时才有效。此外，只有专业人士对其进行实施，历史表明这并不总是发生的。如果我们让数据科学从业者为该领域定义伦理，他们能够达到并自我实施这些准则吗？

或许数据科学领域甚至不需要伦理准则。毕竟，数学怎么可能不道德？2 + 2 = 4，不是吗？这个等式不在乎它得到了什么样的输入；它客观地将两个数相加而没有偏见。然而，机器学习更加复杂，一个论点是，如果数据科学家使用不完整或者不具代表性的训练数据，他们可能会无意中创建有偏见的模型。在我看来，这是一个效能问题，而不是伦理问题。

如果机器学习或人工智能本质上既不是善也不是恶，那么我们应该考虑数据科学的应用。例如，我们可以考虑使用数据科学来识别患有癌前病变的人，以便推销人寿保险或推荐医疗检查。哪种用例是符合伦理的？只要我们能拯救患者的生命，这两种情况都可以接受吗？如果伦理真的关乎应用，那么从业者们可以简单地在应用的地方采纳伦理。这个领域可能不需要自己的框架。

或许伦理问题在于谁应该有权访问数据科学方法。在 20 世纪 90 年代，技术竞赛主要集中在计算能力上。美国政府出于国家安全原因限制了高性能计算机的出口，根据 1979 年出口管理法案。苹果计算机在 1999 年发布了 Power Mac G4，“第一台桌面超级计算机”，充分利用了这种情况。这个前提，可能更多是营销而非现实，是 G4 的出口应受限制，以防止流氓国家使用计算机开发核武器或其他先进武器。基于这个前提，应该限制先进的数据科学方法，以防止流氓行为者、组织或国家造成伤害吗？这似乎与数据科学的开源文化背道而驰，但正如洛克可能会主张的那样，为了确保其他更重要的自由，可能需要自愿放弃一些自由。伦理很难，而且可能会有一些成本。

最后一个想法：我对希波克拉底雕像的问题仍然存在。谁应该为数据科学定义伦理——企业领导、应用领域、从业者，还是可能是一个开源伦理人工智能？考虑到当今世界的复杂性，正确理解伦理是一个巨大的挑战。一个好的起点可能是像希波克拉底几千年前为医学界确立的简单黄金法则：首先，不要伤害他人。

第十八章：为什么研究应该具有再现性

斯图尔特·巴克

阿诺德风投公司研究副总裁

当今的科学——尤其是社会科学——处于一种混乱状态。许多最重要的实验和发现无法再现。这种“再现性危机”不仅对学术研究与发展的未来有重要影响，也对期望通过投资于创新、实验和数据分析来增加回报的任何企业产生了显著影响。企业需要从科学的错误中汲取教训。

作为阿诺德风投公司的研究副总裁，我对这一持续危机有较深了解，因为我资助了许多这些“第二次检视”的努力。以下是我们资助和发现的一些不幸样本：

2015 年，期刊Science发布了有史以来规模最大的复制项目结果：心理学再现性项目，全球数百名研究人员试图复制来自顶尖期刊的 100 个心理学实验。只有约 40%的研究结果能够成功复制，其余要么无法得出结论，要么明确无法复制。
2018 年，社会科学复制项目试图复制 2010 年至 2015 年间发表在Science和Nature期刊上的 21 个社会科学实验。其中只有 13 个实验成功复制，即使如此，复制实验显示“效应大小”——声明的发现的大小——通常只有最初声称的一半。

斯坦福大学的约翰·约阿尼迪斯告诉华盛顿邮报：“我本来期望[顶级]期刊中的结果能够更具再现性。”

除了这些众所周知的复制项目外，研究人员还在经济学、金融学、市场营销、管理学、组织科学和国际商务的研究文献中记录了再现性问题。事实上，分析了超过 2000 个商业实验后，宾夕法尼亚大学沃顿商学院市场营销教授罗恩·伯曼及其同事们估计，42%的显著效果实际上是假阳性。

全球科学界对这些发现非常重视，并且正在采取行动。例如，美国国会正式要求国家科学工程和医学院制作一份重要的国家报告（目前仍在进行中），提出如何解决科学和工程研究中的再现性问题的建议。

从阿里巴巴到谷歌、Facebook 到 Netflix、微软到亚马逊的数字创新者，已经积极采用大规模、快速的实验作为创新努力的一部分。但是，每个希望从实验和数据分析中获得真正洞察的组织都需要警惕那些使科学研究变得不可靠的问题。

实际上，我认为，如果没有对可靠性和再现性进行强调，研究和数据分析往往会带来伦理问题。研究和数据分析中的伦理问题至少可以通过两种方式产生：

如果您的公司对客户进行 A/B 实验，但没有提供关于哪个选项（A 或 B）对客户更好或更差的具体细节，那么客户就被无目的地进行了实验。实际上，如果 A 或 B 中的一个在某些方面比另一个更差，您将无法知道哪一个更好，可能会继续使客户经历低于标准的体验。
如果您使用数据分析来决策员工、客户等事务，但不以可能的最严格方式进行，您可能会误导自己做出对人们更为不利的决策。举一个可能的例子，如果一家大公司使用内部数据开发算法来在雇佣前筛选申请人或衡量员工表现，但没有严格筛选可能以微妙方式出现的种族和性别偏见，那么这个算法可能会使公司面临雇佣歧视的法律责任。

科学中再现性问题的一部分归结于教育、培训和对良好统计实践的熟悉程度。确保您的团队至少有一名员工或顾问了解当前研究的最佳实践。科学中的再现性危机带来了许多关于如何设计实验、如何进行数据分析等方面的重要教训。牢记这些教训，不仅能够做出更好更明智的决策，还能减少对客户和员工的不道德行为风险。

第十九章：构建多视角 AI

Hassan Masum 和

Sébastien Paquet

Prodigy Education 的高级分析总监

Element AI 的应用研究科学家

数据科学和人工智能的部署是由它们的制造者和所有者决定的，但其他利益相关者有时会受到影响甚至受到伤害。

如果你关心避免伤害，部署数据科学和人工智能时必须考虑多个视角。你必须站在别人的角度，问自己：如果我是那个人，这个系统会如何影响我的生活？

新技术的影响可能是意外的和复杂的，即使是对连接人们这样看似良性目标也是如此。创造者或任何单一行为者不能看到整体画面。但每个行为者深刻理解自己的情况，因此可以评估特定技术如何服务或伤害他们。

从利益相关者的意见和生活经验中学习长期以来一直是负责任技术讨论的一部分（例如“实施研究”和“创新扩散”中的理念）。在数据科学时代，这些积累的经验仍然具有重要意义。

考虑到这一点，如何在数据科学和人工智能的发展中融入更多的观点？以下是应考虑融入的人们的视角及其关心的问题：

用户们思考：“这个 AI 能否减轻我的问题？对我而言安全且公平吗？它会帮助我成为怎样的人？”

正如英国政府的设计原则和数字服务标准所强调的，从用户需求出发。热心的用户可能特别坦率地提供反馈；渴望更好解决方案的绝望或沮丧的用户也是如此。投入时间和同理心，深入了解用户更深层次的问题和愿望。

关心他人的人们思考：“这个 AI 如何帮助或伤害我的朋友、同事或亲人？”

那些深知一个人的人往往能评估什么对他们有益或有害。例如，要了解一个孩子如何受到 AI 的影响，你可以与孩子的父母、兄弟姐妹、朋友和老师交流。

受影响者思考：“这个 AI 会如何影响我？即使我从未请求，它是否正在伤害我？”

即使是不使用 AI 的人也可能受到其影响，比如因算法而被剥夺福利资格或假释资格的公民。这些公民可以从《欧盟一般数据保护条例》第 22 条（链接）这样的政策中获益，该条例规定人们有权表达对影响其自动化决策的观点，对此类决策提出异议，并获得人工干预。在大规模实施数据科学之前，要绘制谁会受到影响以及这种影响可能如何进一步影响其他人的地图。

怀疑者们认为：“为什么这个 AI 不能改进或者放弃？谁是那些建造它的白痴？”

寻找建设性的怀疑者：那些最具洞察力但不支持你愿景的人。即使怀疑者看起来无建设性，你仍然可以试图理解他们的情绪和世界观。

监管机构和民间社会认为：“这个人工智能操作是否合法？它安全且公平吗？如何能够为公众利益服务并平衡不同人的利益？”

支持有效的监管和民间监督，以符合公众利益。帮助监督工作更有效，例如通过分享你的人工智能的影响信息，或者共同开发标准和算法问责机制。（你需要决定支持哪些国家的监管机构和伦理标准。）

数据科学家和人工智能开发者思考：“我是否考虑了我作为创造者的责任、我的偏见和限制，以及他人的视角？这将是合法的、安全的和可信赖的，并且能够改善世界吗？”

反思 你自己 的视角。你为什么要创建这个新技术？什么因素影响了你的动机，包括你的工作、财务、文化和个性？哪些义务阻碍了你满足用户和受影响者的需求？你能提高对他人的同理心和理解力吗？

在日常责任的冲击下，做到这一切并不容易。但是花时间更广泛地审视你所构建的内容，有助于降低风险，让客户满意，并让世界变得更美好。

听取多样化的利益相关者意见可能会很艰难，但也会很有回报。同样，以各种方式参与他们的意见，比如通过调查、访谈和民族志研究。如果你能做到这一点，并构建真正多视角的人工智能，那么你将有更好的机会推出能够产生长期用户和社会价值的创新。

第二十章：伦理作为竞争优势

戴夫·马西亚斯

联合创始人，数据之外

作为一名前律师转型为分析人员，我的伦理观点发生了变化。我不再将伦理视为一项遵从性事项，而是视为战略和竞争差异化因素。高数据和分析伦理可以真正成为组织的竞争优势。当然，这种更高的伦理门槛必须是真诚的，并与组织的文化保持一致，但如果是这样，并且组织接受了这种更高的伦理标准，那么它可能会收获多种好处。

首先，在人才争夺战中，伦理可以成为招聘的竞争优势。像谷歌和微软这样的公司最近面临员工的伦理抵制，并因公司进行的工作而受到负面报道。

其次，顾客和合作伙伴希望公司在如何利用数据方面更透明和更有伦理。顾客厌倦了阅读那些细则条款。他们厌倦了鱼目混珠。他们厌倦了公司只求原谅，而不是征得许可。那些意识到这一点并提高其数据和分析伦理标准的组织将能够区别于竞争对手，同时可能更加资源丰富和专注于分析，从而节省成本。

第三，品牌将越来越受到其数据使用伦理的影响。一个展示了高分析伦理倾向的品牌可能会有更高的品牌亲和力。此外，当出现错误时，会有更多观众对品牌宽容。

最近，我开始更多地思考与伦理和分析的重要性，与邦妮·霍卢布博士以及在为我们即将出版的书籍做准备时与首席数据官和首席分析官的采访中联系起来。拥有更高的伦理标准不可能一蹴而就，也不可能凭空出现。相反，这必须是从上到下和从下到上发生变化，并得到支持和认可。这包括将这些伦理标准与组织的真实文化对齐。从上到下和从下到上都可能希望修改组织的文化，但认识到这种需求并制定变革计划是使其有效的关键。

一个组织可能想要做的一件事是建立他们的数据原则。基本上，把数据原则看作是你组织的章程或者关于如何使用数据和分析的宣言。数据原则应包括你的组织希望在利用数据方面建立的道德框架。这个概念在某种程度上来源于雷·达里奥的书《原则》（Simon & Schuster），他在书中解释了一些个人和专业原则，他认为这些原则在一定程度上促成了他的成功。假设你的组织将高道德标准视为其战略的一部分，明确地将高道德标准纳入你的数据原则是很重要的。当然，这些原则需要被良好传达，并且需要鼓励揭示真相的权力。这些数据原则不应在真空中制定，而应该有广泛的输入、认同和沟通。

即使有了数据原则，组织也必须确保人员、流程和程序的一致性，以赋予每个人支持高道德水平的能力。其中最重要的部分是确保每个人意识到道德是他们的责任，而不是留给合规、律师和其他人员处理。围绕道德和其重要性进行授权和广泛参与，可以让你的组织真正基于道德区别于他人。

第二十一章：算法偏见：你是旁观者还是坚定者？

Jitendra Mudhol 和

Heidi Livingston Eisips

创始人兼首席执行官，CollaMeta

圣何塞州立大学兼职教师

自动化决策系统（ADS）广泛应用于广告定位、信用评分、儿童福利和刑事司法等人类活动。ADS 每天都在影响我们，但我们似乎对算法在我们生活中的普遍影响毫无觉察：多达 87%的美国人可以通过其邮政编码、生日和性别被识别。¹

一款设计良好的算法可以带来积极的社会经济变革；例如，机器学习是许多医学成像和药物发现创新的核心。² 然而，ADS 可能在前所未有的规模上放大偏见，同时给予其科学客观性的外衣。在《自动化不平等》中，弗吉尼亚·尤班克斯“揭示了美国的各种机构，从执法到医疗保健再到社会服务，如何越来越多地惩罚人们——尤其是有色人种——因为他们贫困。”³

我们面临选择：要么采取行动解决算法偏见，要么视而不见。心理学家称后者为 旁观者冷漠。

了解旁观行为

1960 年代末的研究揭示，紧急情况下在场人数越多，获得帮助的可能性越低。⁴ 斯科特·利利恩菲尔德等引用威廉·格拉斯曼和玛丽莲·哈达德在 2008 年的研究，显示旁观者“通常对受害者非常关心，但在心理上被困‘冻结’，原因是诸如多元化无知、责任分散和害怕出丑等心理过程。”⁵

旁观者冷漠归因于 责任扩散理论：在他人面前，个体感到的个人责任较少，因此不太可能采取行动；相反，群体越小，个人采取行动的可能性就越大。

外交官萨曼莎·鲍尔创造了 坚定者 这一术语，它已经被定义为“支持个人或事业的人，特别是那些为受攻击或欺凌的人而介入的人。” 坚定者做了两件至关重要的事情：他们支持欺凌目标，并影响施暴者停止行动。

你是旁观者还是坚定者？

我们正站在一个十字路口：我们是继续对算法不公正保持沉默，还是采取行动？从需求到供给，从概念到创造，从数据收集、训练和测试到部署生产模型，服务客户和确定目标，ADS 价值链中的每个个体/企业都有可能成为持正义者。收集和标记训练数据的人可以在方法论和数据池中承认、解决和消除偏见。开发者可以仔细思考责任、可解释性、透明度和设计选择的后果。构建或部署此类产品的私营实体或机构可以使用诸如 AI Now 的算法问责政策工具包等框架作为指导。⁶

其他系统性挑战，如气候变化，告诉我们，只有广泛的制度改革才能产生足够的影响。在像美国和澳大利亚这样高排放的国家，个人家庭自愿将排放量平均减少 25%，国家排放量仅会降低 5%。⁷ 当国家和地方政府实施法律并执行经过深思熟虑的、以证据为基础的政策时，可以实现有意义的改变。对算法偏见和数据透明性同样适用。

尽管成功根除算法偏见具有挑战性，但持正义者角色幸运地有一些势头支持。马尔科·范·博默尔等人的研究显示，引入“问责暗示”可以消除匿名感，并增加提供帮助的可能性。⁸ 数据伦理实际上可以成为企业的重要竞争优势。⁹ GDPR 及类似法规可以在这场斗争中成为盟友。

现在是成为持正义者的时机

人类心理学和人类创造力共同推动全球经济。正如凯西·奥尼尔指出的那样，“社会可以选择利用智能来拒绝和惩罚[弱势群体]，或者用资源伸出援手。”¹⁰ 普遍存在的偏见造成了高昂的社会经济成本。成为持正义者代表了一种机遇，而非负担。机遇在于深入探讨公平和问责，推动公民和组织行动，以及致力于实现更好社会结果所需的领导力。

¹ Latanya Sweeney，《简单的人口统计学经常可以唯一识别人们》（数据隐私工作论文 3，卡内基梅隆大学，2000 年），https://oreil.ly/RONis。

² Hongming Chen, Ola Engkvist, Yinhai Wang, Marcus Olivecrona, and Thomas Blaschke，《药物发现今日》23 卷，第 6 期（2018 年）：1241–50，https://doi.org/10.1016/j.drudis.2018.01.039。

³ Virginia Eubanks，《自动化不平等：高科技工具如何对贫困人口进行画像、监视和惩罚》，（纽约：圣马丁，2018 年）。

⁴ Bibb Latané 和 John M. Darley，《旁观者“冷漠”》，《美国科学家》57 卷，第 2 期（1969 年）：244–68，www.jstor.org/stable/27828530?seq=1；Bibb Latané 和 Judith Rodin，《陷入困境的女士：朋友和陌生人对旁观者干预的抑制效应》，《实验社会心理学杂志》5 卷，第 2 期（1969 年）：189–202，https://oreil.ly/7iCPZ。

⁵ William E. Glassman 和 Marilyn Hadad，《心理学方法》（伦敦：开放大学出版社，2008 年），如斯科特·O·利利恩菲尔德、凯瑟琳·C·索维涅、史蒂文·杰伊·林恩、罗宾·L·考丁、罗伯特·D·拉茨曼和欧文·D·沃尔德曼，“避免使用的五十个心理和精神疾病术语：一个不准确、误导性、误用、含糊和逻辑混乱词汇和短语列表”，《心理学前沿》6 卷（2015 年 8 月）：1100，https://oreil.ly/Mc-cb。

⁶ AI Now Institute，《算法问责政策工具包》，2018 年 10 月，https://ainowinstitute.org/aap-toolkit.pdf。

⁷ Carol Booth，《旁观和气候变化》，《环境价值观》21 卷，第 4 期（2012 年）：397–416。

⁸ Marco van Bommel、Jan-Willem van Prooijen、Henk Elffers 和 Paul A. M. Van Lange，《注意到关怀：公众自我意识导致旁观者效应的逆转》，《实验社会心理学杂志》48 卷，第 4 期（2012 年）：926–30。

⁹ Gry Hasselbalch 和 Pernille Tranberg，《数据伦理——新的竞争优势》（哥本哈根：Publishare，2016 年），https://dataethics.eu/da/projekter/bog。

¹⁰ Cathy O’Neil，《毁灭性数学武器：大数据如何增加不平等并威胁民主》（纽约：皇冠，2016 年），https://weaponsofmathdestructionbook.com。

第二十二章：数据科学与审议正义：关于“他者”的声音伦理学

罗伯特·J·麦格拉思

卫生管理与政策系主席，

新罕布什尔大学

数据科学——我指的是主要依赖于人工智能形式（机器学习、深度学习、总体技术学习）的方法的集合——已经以其有充分记录的影响普及到社会中，既有积极的¹，也有负面的²。它继续引发许多讨论，权衡这两者以及对社会的最终利益³。

但正是在这里，即社会与技术的交汇处，可能需要更基础的思考。在这些数据科学影响的审查中经常引用的是结果，或者是行动的意外后果，例如算法发展的伦理或者在学习进程中的修改。这些出现在系统偏见的情况中，如少数族裔偏见、种族偏见或其他结构性偏见，如果不加以解决，将会在自主学习过程中传播。但在这个审视中失去的是行动本身以及技术如何不仅取代了人类活动，还取代了集体声音的部分。

集体决策是所有社会结构的基础，所有社会的基础。它是贯穿所有社会关系的集体身份，包括政治结构、司法结构、社区支持、法律和公民责任⁴。但是，当算法取代人类的声音——例如通过机器学习在购买偏好、选民抽样、预测案例法律或几乎任何人类行为在总体上采取行动时——这种非人类的声音或“他者”的声音实质上被计算在如何分配和解释那些商品、服务和公民结构的集体声音中。一些人可能会认为，决策不是公民本身，而是他们利用技术及其提供的好处在做出公民选择，因此集体声音得到了增强。然而，其他人可能会认为，如果选择本身因预测过程而受限，那么审议过程在途中基本上已经受到了阻碍。这些困境导致一些人询问，当为数据科学家的工作提供信息时，是否需要考虑伦理框架或基础正义模型的问题，如社会正义和审议正义⁵。

这些是伦理学栖息的正义理论的基础问题。关于如何、为何以及朝着何种目的的问题，均牢牢地栖息在这种基础公民声音的空间中，以及赋予该声音的价值。这个问题仍然存在：如果那个声音没有人类面孔，会怎样？

¹ Sonja Marjanovic, Ioana Ghiga, Miaoqing Yang, and Anna Knack，“理解健康数据生态系统中的价值：当前证据综述与前进方向”，Rand Health Quarterly 7, no. 2（2018 年 1 月）：3；L. Nelson Sanchez-Pinto, Yuan Luo, 和 Matthew M. Churpek，“重症监护中的大数据与数据科学”，Chest 154, no. 5（2018 年 11 月）：1239–48；Stuart J. Russell 和 Peter Norvig, 与 John Canny 等合著，《人工智能：现代方法》，第 2 版（Upper Saddle River, NJ：Prentice Hall/Pearson Education, 2003），1081。

² Rebecca Wexler，“生命、自由和商业秘密：刑事司法系统中的知识产权”，Stanford Law Review 70（2018）：1343–1429；Soroush Vosoughi, Deb Roy, 和 Sinan Aral，“在线真假新闻的传播”，Science 359, no. 6380（2018）：1146–51，https://doi.org/10.1126/science.aap9559；Jack Smith IV，“《少数派报告》是真实存在的，而且真的在报道少数群体”，Mic，2015 年 11 月 9 日，https://oreil.ly/qpT_Z；Jack Nicas，“YouTube 如何将人们引向互联网最黑暗的角落”，Wall Street Journal，2018 年 2 月 7 日，https://oreil.ly/ceaey。

³ Luke Muehlhauser 和 Anna Salamon，“智能爆炸：证据与影响”，收录于 Singularity Hypotheses: A Scientific and Philosophical Assessment，Amnon Eden, Johnny Søraker, James H. Moor, 和 Eric Steinhart 编（Berlin: Springer, 2012）；Eliezer Yudkowsky，“人工智能作为全球风险的正面和负面因素”，收录于 Global Catastrophic Risks，Nick Bostrom 和 Milan M. Ćirković 编（New York: Oxford University Press, 2008），308–45；Nick Bostrom，“超智能的意志：先进人工智能代理的动机和工具理性”，Minds and Machines 22（2012）：71，https://doi.org/10.1007/s11023-012-9281-3。

⁴ Bernard Yack，“亚里士多德政治哲学中的社区与冲突”，The Review of Politics 47, no. 1（1985）：92–112，[https://oreil.ly/HwRf_](https://oreil.ly/HwRf_）。

⁵ Ben Green，“数据科学作为政治行动：将数据科学扎根于正义的政治”，Computers and Society，康奈尔大学，最后修改于 2019 年 1 月 14 日，https://arxiv.org/abs/1811.03435。

第二十三章：垃圾邮件。你会错过它吗？

约翰·图马

FIS 数据解决方案集团副总裁

随着《加州消费者隐私法案》（CCPA）的出台，关于个人数据和道德的法律将发生巨大变化。该法案由杰里·布朗州长于 2018 年签署，并于 2020 年 1 月生效，旨在为加州居民建立保护私人信息的准则和程序。该法案赋予消费者知晓企业拥有的个人信息及其收集和变现目的的权利，以及许多其他内容。

CCPA 是一个好主意，许多其他州很快也将效仿加州的先行。然而，这类法律也有其不利之处。所有依赖数据的组织都必须遵守这项法律，否则将面临严重后果。让我们面对现实：大多数组织都依赖数据！我相信我们都将看到电子邮箱的垃圾邮件量减少，因为组织将在消费者广告上收紧腰带。这也将对传统营销产生影响。自动拨号电话将大大减少。对于许多人来说，这听起来像是美梦成真。然而，垃圾邮件！我认为你会错过它的！

信不信由你，我喜欢从广告商那里收到一些垃圾邮件！我想知道下一个最佳优惠是什么，我是否能在加油站得到便宜的油价。我喜欢收到关于即将上映的电影的信息，以及我可能会得到高昂但美味的爆米花 50%折扣的消息。我担心的是摇摆不定的情况将会导致企业因害怕违反像 CCPA 这样的新隐私法律而收紧他们的市场营销。然而，我不会想念那些自动拨号电话！

我们是否正在进入一个“更大的兄弟”的时代？我不喜欢 CCPA 法律的一点是它夺走了我对自己的控制权。我可以管理自己的垃圾邮件和自动拨号电话。管理我的数据对我来说也很容易！此外，垃圾邮件过滤器效果很好。我也可以取消订阅邮件。新的呼叫拦截应用程序也非常棒。我真的不需要一个大型政府监督组织来照看我；我可以自己照看自己。

总之，我是一个喜欢炫耀个人数据的人。但这是我，也许你不会喜欢。我们都有责任保护自己和我们的私人数据。《加州消费者隐私法案》是一套出于良好意图的法规。它旨在保护私人数据和消费者。但我们都知道，通往地狱的路常常铺满了善意的石块。有时候当我在商店附近走动时，收到来自该商店的优惠邮件，感觉有点诡异。同时，作为消费者，如果优惠合适，我会有些兴奋！我宁愿保持控制，不介意有很聪明的数据科学家在构建我的下一个最佳优惠时使用我的个人数据。毕竟，数据、分析、营销和数据变现是我们经济的重要组成部分！我说放任自流——“别碰我！”

第二十四章：对于正确是否错误？

Marty Ellingsworth

Celent 高级分析师

更好的数据、更好的模型和更好的决策引擎带来更好的结果。无论是手动训练模型，使用自动化机器学习系统，还是采用任何最新的“x”学习网络进行预训练，只要模型表现出色，为什么它能够表现得如此出色并不重要呢？最精确的模型不应该在所有情况下都能够使用吗？这就是进步，对吧？应该允许您的模型自行学习以进一步推动此进展并进行更好的个性化吗？实际上，如果没有伤害，那么就没有犯规，对吧？

学术上，许多人认为这一切都关乎对数据的提升和修正。在职业上，关怀标准仍在逐步形成中。有数十个实践领域，其中更好的模型和更好的数据似乎会神奇地、定期地和规模化地出现，以获得更好的结果——无需质疑——从而使用户、发明家和投资者感到满意。隐私权倡导者发出警告。

在法律上，我们正处在科技飞速发展的阶段，远远超出了现有法律和合规法规的范畴。今天许多控制措施是在上世纪 70 年代和 80 年代关于就业公平、贷款和住房方面出现的，并且在上世纪 90 年代和 21 世纪初关于欺诈、盗窃、勾结、洗钱和恐怖主义问题方面出现的。已知的法律条文通常定义得很明确，但是这些最接近数据的人通常对其并不了解。往往存在复合定义，将某事物定义为禁止或受限（谁、什么、何时、何地、为何、如何、多少、以何方式、在什么使用案例中、适合什么年龄群体以及在哪个司法管辖区）。这可能导致更多的情况未被界定而非被预言。如果不违法，那还可以吗？

从伦理角度看，“什么是可以接受的”往往是一个不断变化的目标。业务影响推动了对更好结果的需求，公众也可能善变，并且为特定信息可能会被说服甚至是支付价值。在数据科学中，谁是伦理门户，何时他们参与，以及在情况变化时何时重新参与？这是一个新兴的问题。

实际上，道路上的橡胶通常会显示出多种时间上的打滑痕迹。当优秀的预测对子群体不起作用时，或者当特定受保护的子群体被预测时，会发生重大打滑。何时预测，何时不预测可能是一个比“商业道德”更广泛的伦理问题。

许多老板会打击报信者。大多数伦理部门都源于某种失误。许多小公司甚至没有伦理部门。非美国公司可能具有不同的伦理标准，同行业内服务相同客户和相同地理位置的不同公司也可能如此。哪种伦理框架应当成为标准尚不明确。在那之前，更常见的情况将是对受保护类别的不同影响或违法变量的侵害。这可能是由于基础数据引入的偏见，特定类型数据的管理不善，或者可嵌入微小细节的区分特征（特别是在考虑文本、图像、扫描、诊断、声音、视频、时间、交易、生物、人口统计、医疗、牙科、地理位置、传感器、社交网络、知识图谱关联、过去历史、当前活动、行为、在线活动、购买、个人互动和位置数据时）造成的。

数据、分析和决策支持系统，特别是那些可以事后学习的系统，都存在风险。它们可能学习到不良行为，过度代表不平衡的人群统计数据，“作弊”通过模拟处理器在流程中的行为，无意间利用非法和受保护信息，或者在数据样本中找到在生产环境中可能漂移或消失的特征。

自动化机器学习和需要仅进行组件装配的人工智能正在将更多的分析模型构建能力交给业务人员和其他“公民数据科学家”。但是，简化模型构建并不能解决选择好问题、以伦理为核心解决问题的艺术、技艺和伦理问题。

在分析实践中，很多时候，问题定义的艺术和在生产中使用数据之前了解其背景的技艺与良好模型的表现喜悦及近期交付日期的紧迫性发生冲突——更不用说似乎在初创公司领域的独角兽群体上空似乎如雨般的数百万和数十亿美元。

目的是否能够证明手段正当？这是每个数据科学家以及他们的雇主、董事会、审计员、监管者和投资者都需要考虑的问题。

第二十五章：我们还没有为技术设立信任标志准备好

Hannah Kitcher 和

Laura James

通信经理，阿达·洛芙莱斯研究所

Doteveryone 的合伙人

在 Doteveryone，这个负责技术的智库，我们在 2018 年至 2020 年间工作时，我们经常被问到为什么没有继续推动一个早期的创意去为技术创造一个“信任标志”。简短的答案是数字产品和服务不像香蕉。

数字产品是复杂的，随时间变化（随着软件更新、新技术、新数据等），我们对它们的态度也在变化。在这种设置中设定和评估有用的公共标准是困难的。

在 Doteveryone，我们研究了技术信任标志会是什么样子，在经过研究和原型设计后，我们发现信任标志并不是我们可以创造变革的最有用的东西。

信任标志是展示商业责任的常见工具，无论是供暖技术人员的 GasSafe，还是食品和其他产品上的公平贸易标志。在 2017 年，随着对大型科技、算法等的担忧日益增长，以及对更大责任的呼声，许多人提到了数字技术的信任标志，将一个在其他行业普遍存在的想法引入这个新领域是有意义的。

经过一些研究，Doteveryone 能够描述制定数字技术信任标志的具体挑战。我们意识到，为一个行业强制执行标志是一个非常漫长而缓慢的过程——而且技术仍在探索产品类别，所以很难准确地确定包括哪些产品和服务。

一些信任标志使用一个清单系统。如果我们设想为特定产品类型，比如手腕佩戴式健身追踪器，制定一个标准清单可能是可行的。但是，为了覆盖我们希望具有良好设计、开发和运营实践的所有数字产品和服务，我们将需要大量的清单！

因此，我们转而专注于基于价值观的方法，并在更高层次上关注业务和产品选择。价值观通常是人们描述他们对技术关注的方式，比起色彩方案的可访问性细节或数据加密技术的细节，它们更能够作为一个更好的框架。

我们构想了“值得信赖的技术标志”——一个建立在价值观基础上的信任标志，帮助消费者识别反映其优先事项和关注点的产品和服务。这个想法是建立在更现代的信任标志概念上，产品或服务上的标志将由一个在线资源支持，这个资源提供实时信息，证明标志使用的合理性。通过这种方式，随着技术的变化——比如软件更新——这些发展可以被纳入，而值得信赖行为的证据将始终保持更新。

这个标记还将使得能够在没有完整标准机构或认证机构的成本和规模的情况下实现轻量级的问责和执行成为可能，而且测试起来相对容易。如果一个简单的在线证据库能帮助证明可信技术标记系统的价值，那么随着时间的推移，它可能会逐渐过渡到一个正式的系统。

测试这个可信技术标记概念——将信任标记的传统模型适应于复杂、快速变化的数字技术的特殊情况——与一个小组织群体进行了尝试，我们发现：

对于这些组织来说，最大的挑战就是帮助他们找到更好的工作方式。提供一个框架和一些工具来支持他们的团队思考责任问题是非常有帮助的。
对于小型组织来说，最难管理的部分是实际的证据，部分原因是因为它涉及到可能触及商业敏感性的外部展示，部分原因是因为这是一项额外的任务——在初创公司或小型科技企业已经非常忙碌的生活中又多了一件事情。
消费者是否真的会从这样一个标记中受益还是值得怀疑的。在挑选应用程序和设备时，选择已经很困难了，产品提供的选择也很复杂，而时间（和金钱）通常是稀缺的。与其识别几个带有信任标记的“金标准”产品，似乎更重要的是以一种轻便且可行的方式帮助更多的企业改善其实践方式。（今天最具道德标准的数字产品通常很容易找到，如果你需要的话！它们仍然相对稀少，但它们的独特的商业模式和品牌定位通常是可见的，而且还有经过筛选的道德应用程序列表。）

所以，尽管一个由开放证据库支持的信任标记在行业演变和消费者以及政策对负责任技术的兴趣发展的过程中可能是一个良好的未来方向，但我们还没有达到足够的客户需求的临界点。

数字技术的信任标记需要创新思维和原型设计，但也需要一个能够大规模运作的执行系统。这意味着一个庞大而权威的组织，这样做要困难得多且进展缓慢。

因此，我们现在专注于如何在已有的基础上进一步发展，并为组织提供工具，帮助它们在日常工作中更负责任。结果证明是非常有用的，并且在实践中远比一个信任标记要快得多。

第三部分：数据伦理

数据是每一个分析和数据科学过程建立的基础。本节讨论了与支撑这些过程的数据收集和使用相关的伦理问题。

第二十六章：如何透明和信任地要求顾客的数据

拉斯穆斯·韦格纳

合作伙伴，贝恩公司。

大多数顾客知道他们的数据在每次在线点击、点赞或购买时都在被收集，但许多人希望能更多地控制这种活动。近年来大规模数据泄露事件频发，包括雅虎、第一美国金融、Facebook、万豪/喜达屋和信用局等，让许多顾客感到无力抵抗侵入和盗窃。社交媒体巨头也通过与第三方分享顾客数据滥用了顾客的信任，这些信息的使用可能未得到顾客的批准。

此类数据泄露事件应使顾客更加警惕分享数据。但与以往任何时候相比，公司更依赖顾客数据来开发新产品，个性化在线体验和服务，并决定在新商业努力中投资的位置。刚刚开始培养分析能力的公司不太可能放弃顾客数据带来的潜在商业利益。

公司如何在尊重客户关注的同时满足其对数据的需求？对于大多数企业来说，问题在于如何恰当地表达他们收集数据的原因及其使用方式。

贝恩公司的研究发现，为顾客的数据付费并不奏效。那些反对他们的数据被收集或分享的顾客很少会因为金钱的诱惑而改变主意。看来，信任是不能买来的。这一点对各种类型的顾客都适用。例如，我们没有看到例如收入与愿意为了金钱补偿而放弃数据之间有显著的联系。

另一方面，我们确实发现公司的透明度与顾客愿意分享数据之间存在联系。与顾客开放、简单的沟通——关于公司希望收集何种数据、为何需要这些数据以及其使用的限制——似乎起到了作用。具体而言，人们在看到收集数据的理由时更愿意分享数据。

提问者身份也很重要。消费者对某些公司的信任要高于其他公司。例如，杂货店和航空公司更可能得到顾客允许使用其个人数据，而金融服务公司和手机提供商则不太可能。

尽管一些公司已将透明度作为优先事项，但欧盟已采取措施强制执行统一标准。根据欧盟的《通用数据保护条例》，在欧洲进行在线业务的公司必须告知客户其正在收集数据。通常，这以小横幅或弹出窗口的形式呈现，通知用户他们刚刚访问的网站使用了 Cookie，并且可能会或可能不会从他们那里收集到可识别个人信息。网站或移动应用程序正在收集其数据的事实不会让客户感到意外。但 GDPR 规则并未为客户提供太多控制其数据的选项，除了拒绝 Cookie 或在某些情况下离开网站。不清楚数据将用于何种目的，并且没有易于访问的设置允许客户选择愿意共享的特定数据。

尽管 GDPR 是朝着正确方向迈出的一步，但它仍然是一个粗糙的框架，并因其被认为过度扩展、缺乏灵活性以适应小型组织和企业的需求，以及可能抑制创新而受到批评。与每次应用程序下载或软件升级时附带的冗长（通常是未读的）法律协议类似，最初的 GDPR 规则未能改善企业与客户之间的对话，或者用清晰的术语解释数据使用的条件。下一次修订可能会更有效：欧盟已宣布对 GDPR 进行修改，将强制企业以“清晰简明的语言”传达这些信息。

更好的模式可能是非营利性 Mozilla 基金会的五个简明的数据隐私原则，最早于 2011 年初发布，用于指导 Mozilla 处理数据隐私的方法。在用户数据方面，最重要的三个原则是：

不要有意外

用户以透明的方式共享数据。

用户控制

客户可以控制何时以及哪些数据被收集。

有限的数据

公司只收集所需的数据，并删除不再需要的数据。

这些原则共同构建了增强与客户关系所需的透明度和信任环境的框架。开放和透明的沟通是一个很好的起点：在前期使用清晰的语言请求许可，并让客户了解他们的数据将如何使用和保护。

第二十七章：数据伦理与雷明效应

鲍勃·格拉登

高标健康企业分析副总裁

在过去的十年中，我们见证了个人数据在网络空间被收集并提供以供使用的激增。这与爆发式计算能力的广泛选择结合，导致了对可能提供有关个人和/或人群独特见解的分析算法的狂热需求。将数据视为数据科学家探索的游乐场具有显著的优势，但随之而来的是其黑暗面。最大的关注点是不负责任地使用非常私密的数据来供养算法，这可能导致意想不到的后果，尴尬的公共关系挑战，或者能够整合偏见的 AI/ML 算法失控。

您可能熟悉雷明效应。它基于这些小型啮齿类动物无端地倾向于毫无思考地相继跳下悬崖自杀。它已经成为毫无考虑地跟随他人行事的象征。那么，扩展个人数据的使用如何等同于雷明效应呢？

如果一个组织利用其处置的所有数据，这种行为就像对其他组织的春药一样，迫使它们感觉必须做同样的事情。他们可能会在很少或根本没有考虑后果的情况下这样做。害怕落后并且不将最先进的分析技术应用于所有可用数据的每一位推动分析团队和公司不知不觉地接受另一个组织的数据伦理（或其缺乏）作为实际行为准则。他们简单地“跳下悬崖”，因为另一个组织已经这样做了。然而，还有其他选择。

在算法开发中，个体特定数据的需求与数据为该算法带来的价值之间可能存在微妙的平衡。当然，添加更多数据有潜力提高模型预测能力的提升，但代价是什么？这种成本可能是与获取数据相关的资金和分钱，但更重要的是，应该考虑其在伦理影响和托管公司所信任数据的责任方面的影响。

分类数据，或者与个体相关联的数据，如街道地址，通常比那些具体特定于个人的个体数据问题要少。使用分类数据的模型在某些应用中几乎可以与使用个体数据的模型一样有效。这使得分类数据成为一个理想选择，如果用于模型的个体数据被视为敏感的话。比较使用每种数据类型输出的工作需要一些努力。然而，通过这样做，模型的最终选择不仅可以集中于这两种数据类型之间的变化，还可以考虑到常规使用敏感个人数据所涉及的伦理问题。

在考虑能够为个人健康护理需求提供见解的社会经济数据时，公开可获取的数据完全可以为模型的有效性提供足够的真实性。这并不是说个体数据不能改善模型。例如，在考虑一个人的住房脆弱性时，了解一个人在 12 个月内拥有多少个地址，他们过去的驱逐或者房屋被收回情况，或者他们亲属的住房情况，无疑能更好地为模型提供信息。然而，像当前地址及其社区/普查区等特征——从收入到新鲜食物的可获得性和住房类型——的数据输入，可以有效地指导护理导航者做出决策。

所有这些并不意味着要淘汰单个数据在模型中的使用。但数据管理是一项关键责任，特别是在收集特定个人数据时。关键在于，每个组织都应考虑将其敏感数据足迹最小化。从数据伦理准则开始，并建立起组织愿意接受哪些风险的规则，至少可以将这一重要决定从个体分析师或数据科学家手中收回，并交还给企业，这是其应有的位置。使用数据造福他人而非个人利益或利润可能看起来是一种利他主义，甚至是天真的目标，但在考虑将个人可识别数据嵌入业务流程时，这是组织在管理责任上应当考虑的一部分。

第二十八章：个人数据的看法

伊琳娜·雷库

互联网伦理项目主任，

马库拉应用伦理中心

我们是否拥有我们的个人数据？如果不是我们，那么是谁拥有？或者我们应该问，个人数据首先是否应该被视为商品？

在题为“在线出售您的大量数据实际上是在出售您的自主权”的文章中，叶甫根尼·莫罗佐夫（Evgeny Morozov）提出：

我们不应毫无疑问地接受个人数据只是像任何其他商品一样，并且我们的大部分数字问题将消失，只要我们不是像谷歌和 Facebook 这样的巨大数据垄断者，而是有一支由小型数据企业家组成的军队。我们不允许人们行使他们的自主权以便通过出售自己变成奴隶来放弃这种权利。为何要为那些想要出售一部分智力和隐私而不是他们的身体的人们而做出例外？^([1)]

在题为“关于个人数据、宽恕和‘被遗忘权’”的演讲中，哲学家卢西亚诺·弗洛里迪（Luciano Floridi）也发表了类似的观点：

有关个人数据的观点大致有两种。一种是从经济哲学的角度来看。您的数据是您的，就像“我的数据，我的房子，我的车：我拥有它……如果您侵犯，您就侵犯了我的财产边界。”……然后还有另一种看待个人信息的方式，与心灵哲学——个人身份的哲学有关。我的数据或我的记忆更像是我的手，我的肝脏，我的肺，我的心脏。它们不是因为我拥有它们而属于我的；它们属于我的是因为它们构成了我……复制我的数据并不是夺走那些数据，但这里有一些克隆的因素，并且是具有侵入性的，这与侵入没有关系，而更像是绑架。^([2)]

有段时间以来，普遍认为互联网上提供各种“免费”服务实际上是用户用他们的个人数据“付费”（仍有人持此观点）。然而，如果个人数据不是商品，而是作为我们作为人类的一个组成部分，这是否使得这些交易更类似于器官捐赠？

如果是这样，这些可能是在明显不充分的知情同意的基础上的“捐赠”。回到 2016 年，皮尤研究中心详细说明了一项关于美国人对隐私和信息分享态度的研究发现，指出其中“对许多焦点小组参与者最令人不安的隐私问题之一是，他们感到很难获得关于收集内容和谁在收集数据的信息”。³ 到 2019 年，同一研究中心报告称，约“四分之三或更多的美国成年人表示他们对政府（84%）或公司（81%）收集的关于他们的数据几乎没有或没有任何控制权”；此外，“81%的美国人认为公司收集关于他们的数据的潜在风险大于其带来的好处，66%的人对政府收集关于他们的数据持同样看法”。⁴ 在此期间，有关个人数据收集和使用的更多信息导致了更少的同意。

任何处理个人数据的从业者都需要了解并应对这一现实。显然，许多美国人将个人数据视为不是“新石油”，而是他们自主权的生命线。

¹ 叶甫根尼·莫罗佐夫（Evgeny Morozov），《在线出售你的大量数据实际上意味着出售你的自治权》，《新共和国》，2014 年 5 月 13 日。

² 卢西亚诺·弗洛里迪（Luciano Floridi），《关于个人数据、宽恕和“被遗忘权”》，马库拉应用伦理中心，2015 年 3 月 10 日，YouTube 视频，7:51，https://oreil.ly/1PRu5。

³ 李·雷尼（Lee Rainie）和梅芙·达根（Maeve Duggan），《隐私和信息分享》，皮尤研究中心（互联网和技术），2016 年 1 月 14 日。

⁴ 布鲁克·奥克西尔（Brooke Auxier），李·雷尼（Lee Rainie），莫妮卡·安德森（Monica Anderson），安德烈·佩兰（Andre Perrin），马杜·库马尔（Madhu Kumar）和艾瑞卡·特纳（Erica Turner），《美国人与隐私：对个人信息感到担忧、困惑和缺乏控制感》，皮尤研究中心（互联网和技术），2019 年 11 月 15 日。

第二十九章：数据应有权利吗？

Jennifer Lewis Priestley

肯尼索州立大学分析与数据科学学院副院长兼院长

你的 DNA 拥有权利。或者至少在法律下受到保护。2008 年的《基因信息非歧视法案》（GINA）和《健康信息便携性和责任法案》（HIPAA）都适用于保护基因信息的信息隐私和数据安全义务。顺带一提，仅当个人与其 DNA 相关联时，GINA 和 HIPAA 下的个体 DNA 保护措施才具有相关性。

数以百万计的人们已经（实际上支付了以贡献）将他们的物理 DNA 提交到诸如Ancestry.com或23andMe等知识库中，并“点击”了他们默认同意将其 DNA 价值与他们的物理人分离，以进行家谱研究、医学研究，甚至是罪犯的关联和识别。2015 年，价值 200 亿美元的基因组公司 Helix 测序了全球约 90%的 DNA 数据，并期望在以 DNA 为基础的数字市场向消费者开放。¹

现在考虑在线活动。

越来越多的在线活动创建了一种数字 DNA，就像每个人的物理 DNA 一样独特。虽然大多数人承认他们在日常活动中产生了“数字尾气”，但大多数人可能没有意识到他们正在创造一种新的 DNA 形式，这种形式可能在他们物理上不存在之后仍然存在并产生可商业化的价值。这一点适用于每天通过面部识别技术捕获的图像和相似物。

想想你主要用来访问互联网的设备（手机、平板电脑、笔记本电脑）、输入信息的方式（大小写敏感还是全部小写）、使用的搜索引擎以及你活跃的时间，这些都可以结合起来形成一个强大的个人资料，揭示你支付账单的可能性，购买汽车的可能性，搬家的可能性，生孩子的可能性，或者患癌症的可能性。² 你的图像“在野外”可以被用来在你不知情的情况下对罪犯进行画像。除了其“源头”外，数字 DNA 对社会具有潜在的价值，就像亨利埃塔的细胞一样。

这种叙事引发了任何分析专业人士都应该考虑的伦理困境。也就是说，就像我们的物理 DNA 一样，我们的数字 DNA 可能更有价值，它是否应该具有与生成它的人分离的“权利”？

¹ Megan Molteni，“Helix’s Bold Plan to Be Your One Stop Personal Genomics Shop”，Wired，2017 年 7 月 24 日，https://oreil.ly/7xFBp。

² Tobias Berg, Valentin Burg, Ana Gombović, and Manju Puri, “金融科技兴起——利用数字足迹进行信用评分,” FDIC 金融研究中心工作论文系列，2018 年 7 月，https://oreil.ly/AfAJs.

第三十章：匿名化数据真的非常困难

Damian Gordon

都柏林科技大学大学讲师

数据分析承诺能更深入和全面地理解我们周围的世界。许多人声称，由于数据的普遍存在，现在可以从价值创造到组织适应性的所有过程最终实现自动化。为了实现这一目标，需要大量关于人们（及其行为）的数据。但是，在需要非常详细数据的需求与个体维护隐私权之间需要权衡。解决这一挑战的一种方法是从数据集中删除一些关键标识符，有时称为“名称数据”，通常包括姓名、地址和社会安全号码等字段。这些特征似乎是唯一标识个体的关键特征。不幸的是，存在广泛的技术可以让他人对此类数据进行反匿名化。

一些数据集可以通过非常初级的手段进行反匿名化；例如，某些匿名电影评论数据集中的个体仅通过搜索非匿名网站上类似措辞的评论，如 IMDB，就能被识别出来。在另一种情况下，AOL 发布了一个包含 2000 万个网络搜索查询的列表，两名记者能够根据其特定搜索中的线索唯一地识别出个人。

除了这些简单的方法外，一个更复杂的方法是探索其他未更改的字段，因此，如果数据集中的名称数据被移除，这可能会导致问题；例如，如果研究人员正在研究居住地与健康水平之间的关系，删除地址标识符将对研究产生不利影响。为了解决这个问题，有时会留下区号参数，然后研究可以成功完成。然而，黑客可以通过将现有的公开数据纳入分析中，从删除了名称数据但包含区号和其他参数的数据集中唯一地识别出个体记录，这一点由许多计算机科学家，特别是哈佛大学数据隐私实验室主任拉塔尼亚·斯温尼展示了。

在社交媒体（或网络）环境中对数据进行匿名化更具挑战性，值得注意的是，研究人员通常对人与人之间的关系更感兴趣，而不是个体的数据。通常情况下，社交网络被表示为一个图形，节点表示个人或组织，边表示个人或组织之间的连接和交流。因此，即使数据的匿名化操作基本上与以往相同，即通过移除常见标识符，特别是姓名数据，所有的黑客只需创建一些虚假的个体，并使用这些虚假个体连接到网络内现有的个体（假设数据集表示一个实时系统）。连接到少数真实个体后，就可以根据每个个体与其他人的连接配置（形状）来唯一识别它们。

诗人亚历山大·波普曾说过：“无罪贞女幸福何其大！遗世独立心自闲。”意思是禁闭修女们已经忘记了外界，而且外界也忘记了她们；这表明也许唯一保持匿名的方法是远离记录你数据的任何服务。

第三十一章：仅仅因为你可以，你就应该吗？在伦理上选择分析数据

史蒂夫·斯通

创始人，NSU Technologies 及前首席信息官，

Lowe's 和 Limited Brands

当我写这些文字时，我的州正进入强制居家令的第四周，原因是 COVID-19。和许多其他美国人一样，我查阅多个新闻来源和信息图表，以更好地理解科学与政策之间的联系，以及数据与行动之间的关系。此外，我还发现了公共数据的优秀来源，我每天都使用各种工具进行分析。

几周前，两家公司，X-Mode 和 Tectonix，联合开发了一种可视化技术，跟踪来自 Fort Lauderdale 海滩上聚集的春假者的手机位置数据。这一广为人知的可视化展示了春假者离开 Fort Lauderdale 并返回他们的校园或家园时的巨大地理扩散。

这是一个令人惊叹的演示，并使广大公众首次窥见分析和数据可视化的巨大力量。然而，这也引发了对追踪手机信号的伦理和法律问题，用于非手机所有者意图之外的目的。随着我们在大流行中的进展，我们将面临在个人隐私与公共安全目标之间取舍的选择。这种困境并非新问题。数据科学家和分析师经常面临类似的数据伦理决策。

举个例子，在我以前的一个职责范围内，我们部门评估了与每个零售店入口处安装的基于视频的交通计数器配合使用的视频分析软件。交通计数器只是简单地计算离开和进入我们商店的人数。计数器中的逻辑会从统计中筛选出某些人（员工和有父母的儿童）。否则，计数器会按时间提供进店人数和出店人数。我们评估的分析软件可以确定进入商店的人的性别和年龄。我们在实验室中进行了测试，并发现其准确性从中等到显著不等。然而，当我们与总法律顾问讨论技术的使用时，我们揭示了一整套伦理和法律问题。在我们评估“数字合身”技术以根据数字照片确定合适服装尺寸时，也出现了类似的情况。

COVID-19 和工作示例说明了许多数据科学家和分析师面临的核心伦理挑战之一：我应该在分析中使用这些数据吗？请注意，我使用了“应该”这个词，而不是“能”。在公共领域数据不断增加的情况下，“应该”与“能”之间的伦理问题非常相关。数据科学家或数据工程师应该如何确定“应该”？

考虑以下五个标准来确定数据的道德使用：

数据必须是真实且可信的。如果我们不知道或不信任数据的来源，我们不应使用这些数据。
数据的上下文使用必须符合其最初收集的目的。如果我们在与收集目的不一致的方式中使用数据，我们不应使用这些数据。
提供数据的各方必须同意其收集。我们通过了解数据提供者是否有选择并清楚地理解其选择的后果来验证同意。如果我们对同意不确定，我们不应使用这些数据。
必须减轻为提供数据的各方带来的意外伤害或不良曝光的风险。如果某人以匿名的方式提供数据，我们必须采取措施保护他们的权利。如果我们缺乏足够的保护措施，我们不应使用这些数据。
数据收集中的偏见必须被识别和减轻。虽然这与我们的第一个标准类似，数据可以是真实的但有偏见。数据收集中的偏见导致后续模型中的偏见。如果我们对收集过程中使用的方法和实践缺乏清晰的理解，我们不应使用这些数据。

数据科学家、工程师和分析师通常是分析中数据集包含的最终决策者。数据伦理在这一决策中应起到重要作用。记住，仅仅因为你能够做到并不意味着你应该这样做。

第三十二章：通过用例和结果集限制客户信息的查看

罗伯特·J·阿巴特

VP & CDO, Global IDs Inc.

当今数据科学的挑战之一是许多数据集的可用性，可以为一个使用案例（即提供客户的 360 度视图）组装在一起，从而创建出毒性数据组合，包括在错误的手中可能被误用的信息。

考虑一下，如果将客户信息和购物历史（在直接向客户销售消费品的零售商的情况下）与美国人口调查局的信息和 CDC 的出生率（出生率）统计信息结合起来，你可以确定一个家庭的很多信息——实际上是太多了。例如，你可以确定家庭成员及其教育水平和收入、他们定期购买的物品、家庭中孩子的年龄等等。

我们已经学到，正确的人应该在正确的时间以正确的质量看到正确的数据（这是数据治理项目的标准），但是你的组织是否考虑过此详细级别信息的使用案例？限制人们查看个人身份信息（PII），或者限制信息的毒性组合（例如，姓名、地址、年龄和电话号码），一种方法是从您的数据湖（或客户信息中心）“签出数据”，在给定的时间段内供使用。除了签出的数据外，人们还会得到关于姓名、地址、电话号码和其他可以识别消费者的关键信息的模糊化信息。如果使用案例试图找出购物者正在购买什么，这可以被识别出来，组织将不得不盲目处理消费者的 PII。

在一家大型零售商，我们取消了允许查询同时运行这些类型字段并同时盲目返回数据的功能。我们还限制了任何返回少于 10 个结果的查询——因为如果你住在一个非常小的城镇（比如，人口 50），如果结果少于 10 个，你可能能够识别出个体。我们可以设想，一个不道德的个人可能想要知道他们的邻居在购买什么。如果数据科学家需要了解更多信息，他们必须向伦理委员会证明请求的理由。

想象一个医疗服务提供商，他结合了许多内部和外部数据集，现在可以确定在特定社区中谁患有艾滋病。这将使组织面临 HIPAA 违规，更不用说这是极不道德的！为了防止这种情况发生，我们再次允许查询结果集必须返回超过 50 个结果以便允许访问。关键在于确定哪些敏感数据，在与其他数据集（包括内部和外部的）结合时，可能导致个人的暴露或识别（早先称为数据的有毒组合）。

还考虑一种情况，员工想要提取您的客户文件或数据湖的一个非常大的部分——他们可能有什么使用案例需要这么多信息？有可能是一个正在考虑离职并带走这些信息的个人吗？在这种情况下，限制结果集的最大大小也是需要考虑的。

这种在数据空间中的阻塞和铲除现在已经成为现实，组织必须像保护货币资产一样计划和准备保护其信息资产。例如，您会允许单个员工在没有任何检查和平衡的情况下提取 100 万美元现金吗？我们都知道答案是否定的，那么为什么要对数据集采取不同的对待方式呢？

第三十三章：重新思考“获取数据”步骤

Phil Bangayan

Teradata 首席数据科学家

作为一名首席数据科学家，我的主要责任是创建准确的模型，这涉及获取适当的数据。这个获取数据的步骤发生在数据科学过程的早期阶段，这是我和所有志向成为数据科学家的人学习到的，从今天回溯到上世纪 90 年代末，以 CRISP-DM（跨行业标准数据挖掘过程）的形式。在客户端和供应商端都有实践之后，我了解到这一步骤没有得到足够的关注，当数据科学家们不了解数据来源，误用为不同目的收集的数据，或者在可能的不道德方式中使用代理数据时，会陷入陷阱。

我学到的数据科学过程与哈佛大学的 Joe Blitzstein 和 Hanspeter Pfister 所记录的过程相似：（1）提出一个有趣的问题，（2）获取数据，（3）探索数据，（4）建模数据，以及（5）沟通和可视化结果。回到 1997 年，类似的 CRISP-DM 过程，在客户关系管理中占据显著地位，包括以下步骤：（1）业务理解，（2）数据理解，（3）数据准备，（4）建模，（5）评估，以及（6）部署。在这两种框架中，获取数据是第二步，并影响所有后续步骤。如果一开始的数据错误，将导致错误的模型。

但是，当建模者不知道数据是如何生成的时会发生什么？最近，一位客户交给我一个用于建模的数据集。数据似乎包含导致客户流失的事件。我们的解决方案涉及向提供者提出三个问题：（1）所有可能的客户旅程是什么？（2）数据结构是什么？以及（3）在所有客户旅程中每个事件收集了哪些数据？回答这些问题花费了数小时，因为每个问题都引发了后续话题。通过这项调查，我们了解到事件收集在不同群体中是不一致的，有些群体收集的信息比其他群体更详细。使用给定的数据集构建模型将会错误地更加重视那些收集事件级数据的群体的流失。

在客户端，当构建定价模型时，我遇到了一个相关问题，即使用为其他目的收集的数据。我们试图预测消费者是否愿意支付某个产品的特定金额。在模型构建过程中，我们提出了有趣的问题，然后找到了关于消费者愿意支付多少的调查问题的答案。然而，由于假设的价格是调查中最低的选择，因此响应者更倾向于选择这个价格。如果没有研究人员的文档和指导，我的模型将会产生扭曲的结果。为了解决这个问题，即使涉及成本，我们进行了新的研究来收集必要的数据。

在这些情况下，当特定数据不可用或昂贵时，模型构建者可能会倾向于使用代理数据。在她的书籍数学毁灭的武器（Crown）中，凯西·奥尼尔提到了一个例子，使用邮政编码数据作为种族或财富的代理。我能理解使用这些数据的诱惑，因为它们普遍存在。毕竟，消费者更有可能提供邮寄地址而不是收入信息。但是会引发多个问题。例如，法律明确禁止保险公司根据种族确定保费。此外，还涉及伦理问题，例如保费或其他费率可能由消费者无法控制的因素决定，比如邻居的驾驶记录。因此，在使用代理时必须小心谨慎。

这三个例子说明了模型构建过程中“获取数据”步骤的重要性。这一步被描绘为通过现有资源库寻找适当的数据集。模型构建者需要更进一步，询问数据是如何生成的，理解收集原始数据的目的，并了解使用代理数据的影响，以确定现有数据是否适当。有时，正确的步骤是收集新数据。否则，由于“垃圾进，垃圾出”的现象，得到的模型将是不准确的。

第三十四章：如何确定可以在伦理上使用哪些数据

莱安德·阿迪丰

VP 工程与技术，英格索尔·兰德

诸如人、社区、公司等实体都有各自的身份。它们拥有现实、特征和独特的特质，这些独特的特质使它们与其他实体区分开来。这种身份定义了它们在存在宇宙中的本质。直到不久之前，即使是在仍在展开的大数据革命之前，实体们也只能用几个数据点来识别。

对于人们来说，主要是他们的名字和姓氏，他们的出生地，也可能是他们父母的名字和部落。列奥纳多·达·芬奇出生在意大利的文奇附近的安基亚诺，他在历史和地理上因其出生地而闻名。公司可能只是简单地沿用其创始人的名字。信息传播手段有限，因此对人、社区或公司所需了解的也有所限制。当被问及我们是谁时，我们的答案总是局限于几个最能描述我们的数据点：我们的名字、出生地、职业和工作地点等。

然而，21 世纪见证了信息爆炸，社交媒体的作用进一步放大。数据变得至关重要。它被收集于每个人和每件事。我们对任何人的了解超出了我们的想象。越来越多的定性因素可以描述任何人的身份。因此，我们的自由受到质疑。当信息被武器化对付他们时，生活可能会瞬间被摧毁。人们的习惯被绘制出来，并且收集到的数据以多种方式被利用。能够更好地捕捉客户购买行为的公司可以通过预测他们的需求并邀请他们参与各种服务来促使他们消费更多。

就像任何旨在改善人们生活的良好技术一样，信息落入错误的手中可能变得有害。信息不仅未能帮助人们得到正确的疾病治疗、准时到达适当的地点或者减少他们的时间和金钱支出，反而可能剥夺他们的人性内容和尊严。它可以揭示他们的位置、拥有的东西等。因此，数据隐私显得至关重要。必须防止未经授权的披露人们隐秘信息并侵入其私生活。

现在的问题是如何确定哪些数据可以在道德上被利用。这个问题中的关键词是“道德”。伦理学简单来说是一组道德原则或价值观，用来指导特定群体的生活方式。系统的规则被定义来指导个人的行为，并保护他们的生命和社区的生命。因此，那些遵循相同伦理规则的社区自己定义或参与定义其隐私的内容是至关重要的，以免受到未经授权的发布的侵害。由于这样一套规则可以在部落、社区和国家之间有所不同，这些群体的个体最适合划定公共和私人之间的界限，其他与他们打交道的人也应该尊重这种划分。

当前述大量数据未经一套规则的筛选时，每个人的自然生活很容易受到威胁。这将阻止人们自由生活和实现他们的潜力。欧盟已经颁布了被称为 GDPR 的法律，以保护其公民的数据和隐私，并控制其个人信息的转移。

为了保障每个人控制其个人数据的自由，应该做出几个简单的考虑：

人们的福祉和安全应该成为任何数据收集、分析和利用的核心。
社区或国家应参与划定公共和私人数据之间的界限。
在个人的个人数据发布给任何第三方之前，应该先取得授权。应该避免在纸质或在线上使用大多数人不读的小字来告知隐私注意事项。
那些参与刑事调查并可能访问人们个人数据的人员应该在誓言下收集和管理这些数据。
应该有损害控制和修复机制或灾难恢复过程来保护隐私侵犯的受害者。
高中教育课程应该教授关于个人数据保护及其处理的知识，以便在个人隐私可能不是优先考虑的年龄段接触到个人数据时。

数据隐私措施和政策应始终旨在保护人们的安全和生命。

第三十五章：伦理是数据泄露的解药

Damian Gordon

都柏林理工大学讲师

在过去几年中，您一定已经注意到频繁发生的数据泄露、云泄漏和网络攻击的报告。我们可能会轻易告诉自己问题在于黑客变得更聪明了，或者系统变得过于复杂而难以管理，但事实是科技组织并未对自身的安全性足够认真，也没有像我们希望的那样对待我们的个人数据。这些组织把我们的个人数据视为可以在市场上买卖和交易的商品。他们没有意识到我们的个人数据代表着我们生活的片段。当发生数据泄露时，通常是我们作为个体遭受损失，因为泄露增加了我们的压力，减少了我们的时间，增加了我们的恐惧，并与他人产生隔阂。

这个问题在云存储的情况下尤为明显，泄漏是持续的；使用这些服务的组织似乎对其云实例的配置了解甚少，似乎无法对其进行审计和管理。这些配置错误的实例（通常是留给公众访问的存储桶或数据库）是近年来许多最大数据泄漏事件的罪魁祸首。问题并不仅仅在于负责管理这一相对新技术的 IT 人员不知道如何配置这些系统，而是他们缺乏承认自己知识不足的诚信，结果误配置的系统导致数百万记录暴露，许多人的生活受到影响。

要解决这个问题，我们需要从第三级机构，即学院和大学开始，改革课程，使正直、诚信，尤其是伦理成为所有计算机科学学位的核心。我们需要进行一场革命，灌输这些学生一种根深蒂固的伦理感，超越法律要求，超越专业指南，朝向一种对他人善良和团结的意识。伦理必须以这样的方式呈现和教授，以至于对学生来说成为第二天性，这样他们在编写计算机系统时首先考虑其伦理影响。这种新课程的内容正在我们每天的生活中被创造。随着我们阅读越来越多组织在其行为中表现出的粗心和轻率，我们可以利用这些寓言来培养一种新一代关心和深思熟虑的学生，我们可以培养他们的伦理技能。

亚伯拉罕·林肯说过，“过去的教条在如今的风雨飘摇中已然不足。现在的形势困难重重，我们必须与形势同步。因为我们的情况是新的，所以我们必须有新的思维，新的行动。”现在比以往任何时候都更需要我们采取新的行动，培养那些考虑他们行动后果的专业人士，那些能够承认自己缺点并反思自己行动影响的人。

第三十六章：伦理问题是今天数据景观的焦点

Kenneth Viciana

Fiserv 信息风险管理主任

回顾我的数据之旅，数据管理的演变真是令人惊叹。我开始在企业数据仓库（EDW）时代工作。我们致力于构建公司可以依赖的“真实数据源”，用于决策、分析和报告功能。大量资金投入资源和基础设施，以理性化/组织/存储数据，并确保其适合使用。

快进到现在，公司转变方向，开始拥抱大数据。模式发生了转变，因为公司希望快速分析大数据集，以确定在投入时间、资金和资源之前是否能捕获价值。公司相信，仅仅拥有大量数据就足以区分自己。他们夸耀其 Hadoop 集群的规模，并雇佣大量数据科学家来在大数据中找到价值。在这个时刻，伦理道德真正成为了这个领域的游戏规则改变者！

数据创新工作集中于创建假设和使用案例以实现数据的货币化。但这也带来了一些关于伦理道德的重要顾虑：

数据所有权
数据透明度
消费者同意
数据隐私
数据安全

我们看到 Facebook 成为数据隐私的典型代表，马克·扎克伯格在国会山作证。实际上，许多 Facebook 用户仅仅将其视为提供与朋友和家人保持联系的免费界面。是的，Facebook 确实提供了这种用户体验，但它也是一个收集大量关于用户群体的数据的平台。它是一个极其有利可图的业务，收入主要来自广告。很快我们会意识到这里存在的伦理问题的重要性！

伦理关切导致了 GDPR 和 CCPA 等法规的出台，如果公司的程序缺乏合规性和严谨性，可能会面临重罚。现在存储大数据（特别是个人可识别信息[PII]和其他敏感数据）被视为一种风险。人们非常谨慎地对 PII 和其他敏感数据进行分区和/或掩码处理。

为了解决诸如 GDPR 和 CCPA 等法规，公司非常关注数据透明度问题。它们正在创建包含业务和技术元数据的数据清单/术语表。记录数据血统以及数据在基础设施内的传播方式也是关键组成部分。供应商解决方案可帮助进行此类目录化工作，并利用这一关键成果促进审计活动。

数据安全也已成为公司的主要关注点，它们致力于保持安全，避免上头条新闻。

公司遭遇个人身份信息（PII）/敏感数据泄露的数据侵犯将对公司产生巨大的影响！因此，公司正在建设庞大的网络安全组织，并配备最新最先进的设备以保证基础设施的安全。信任是如此重要的因素，如果客户的敏感数据遭到泄露，品牌声誉可能会受到重大打击。

为了在恶意行为之前保持领先，网络安全组织正在采用数据和分析来帮助减轻风险。他们正在识别基础设施活动的基线，并监控环境中不正常模式的活动。许多公司正在利用人工智能来进行此类分析，并筛选出需要安全专业人员关注的事件。这种过滤活动使安全专业人员能够专注于实际的风险，而不是必须挖掘所有事件数据。

总结一下，伦理问题目前主导着数据领域。公司正在试图在防御性活动（治理/隐私/安全）与进攻性策略（数据变现）之间取得平衡。客户数据的风险被认可，但公司仍在确定它们在这一领域的风险偏好。公司正在认真对待这一问题，同时密切关注《GDPR》和《CCPA》等法规，这将在决定接下来发生什么方面起到关键作用。

数据量和数据类型肯定会继续增长和演变。看公司如何调整它们的数据策略以及如何进行数据的管理和监督将会非常有趣。

准备好你的爆米花吧...

第三十七章：孤岛制造问题——或许比你想象的更多

邦妮·霍卢布

实践领导，数据科学，美洲地区，Teradata

在我们准备撰写一本关注首席数据官（CDO）职业成功的书籍时，我的合著者戴夫·马西亚斯和我采访了来自财富 500 强公司的首席数据官和首席分析官，一个主题贯穿了我们所有的讨论：信息孤岛（数据孤岛和视角孤岛）带来了问题。这里的伦理风险在于，如果忽视最佳实践并保持过时的数据孤岛，CDO 们会使他们的组织面临不道德甚至可能非法的行为风险。

从管理的角度来看，数据孤岛是数据库、数据仓库、数据湖等，其中数据被存储用于特定目的，但未与组织拥有的其他数据集成。作为消费者，我们经常遇到这种情况。想想你上次打客服电话的情况。他们可能识别了你的电话号码，你可能输入了你的 16 位账号，然后在自动菜单中做了五六个选择，但当你最终与人类交谈时，他们仍然不知道你是谁或你打电话的目的。这种问题发生在呼入系统与客户账户记录未良好集成的情况下。管理者对此深感痛心，因为从他们的角度来看，如果他们正在对销售进行报告，但又没有与应收账款系统相关联，那么他们可能得到的是错误的数据：是的，在 X 客户那里销售额非常高，但如果他们不支付账单，这真的是好的商业吗？

通常，公司中会出现数据孤岛，这些数据孤岛是并购的遗留物，从未完全整合到收购公司的流程和系统中。有时候，数据孤岛之所以存在，是因为专业软件只服务于业务的某一部分，但不管它们是如何产生的，它们都成为高级管理人员的噩梦，原因有几个。首先且最重要的是，未经整合的数据比整合、统一且全面可访问的数据简直不值钱。公司已经意识到，他们拥有的客户数据、产品数据、生产数据、物流数据等等为他们的运营、客户、特定行业的主导经济指标、需求和使用模式等提供了宝贵的洞察。如果公司的数据被孤立成数据孤岛，那么管理人员只能看到数据的一小部分，并且只能收获整体图片可以提供的部分价值。这对业务是一种风险，因为领导者没有对实际情况有全局性的视角。实际上，高管对业务状况和其关键交互联系的全面视角存在视觉狭隘的情况。通过有意识地保持这种视觉狭隘，高管们故意忽视了关键数据，这是对他们尽职尽责的一种玩忽职守。这通常被描述为“1 + 1 = 3”的现象。一组数据给你一些宝贵的洞察，另一组给你其他洞察，但是结合并正确整合这两个数据集，它们提供的价值超过各自部分的总和。现在将这种情况推广到三个、四个或更多的数据集，你就开始了解到问题的规模。接下来，数据孤岛从运营的角度来看也是不利的——需要更广泛、更专业的员工队伍来支持多样化的数据孤岛。数据孤岛还给 IT 领导层带来了无尽的头疼，他们需要支持复杂的系统和古老的基础设施。但我岂止一句。

创造问题的不仅仅是数据孤岛；视角孤岛也是另一个问题。首席数据官们一再告诉我们的是：在不同的职位、不同的行业和不同的视角中花费时间对每个人的晋升到高级领导地位的旅程至关重要。我们与每位高级领导人交谈时，都认为教育和工作经验的多样性是导致他们最终成功的关键特征。他们因为曾在组织的不同角色中工作过，所以能从各种利益相关者的视角看待挑战。

商业领袖并非是唯一欣赏不同视角的人。在她的书籍《数学毁灭的武器》（Crown）中，凯西·奥尼尔写道：

越来越多地，我担心技术模型与真实人群之间的隔离，以及这种隔离带来的道德后果。事实上，我看到了与金融领域相似的模式出现：一种错误的安全感导致了不完美模型的广泛使用，以及自私的成功定义和日益增长的反馈循环。

这句话的另一种表达方式是，分立的视角、缺乏透视力和缺乏多元化观点会导致有害结果。在某些情况下，这些有害结果会越过法律界限，使 CDO 的公司面临风险。此外，这些结果可能也是不道德的——在经济体系中，利益相关者正试图将其投资目标与其道德原则对齐，这是进一步的风险。

总之，分立视角造成了问题。分立可以是数据分立，即由于狭隘视角而无法完全利用构成数据组成部分的价值，或者是透视分立，即组织缺乏足够的透视力从多元化的角度看待机会和挑战，从而使自己陷入失败境地。

第三十八章：保护您的数据免受侵害将帮助我们改善医疗保健

弗雷德·纽根

加州大学伯克利分校数据科学讲师

当您去美国的新医疗诊所时，医生和护士会根据您的姓名和出生日期检索您的患者记录。但有时候他们检索的不是您的档案。这不仅仅是一个医疗问题，也是一个数据科学问题。

这个错误至少有两个因素导致：患者记录的一致性和统一性不足，以及公众对数据保护的不信任。这两者都阻碍了医疗保健行业迈向数据科学革命的步伐。

当患者记录从一个主要医院系统转移到另一个时，患者数据会通过健康信息交换进行传递。据估计，目前系统之间正确匹配患者的率大约为 30%。¹ 如果数据科学家们在数据清洗和改进算法上付出更多努力，我们有可能将匹配率提高到 95%。这是数据科学改善医疗保健的重要机会！这被称为“主数据管理”或“数据治理”，虽然我们还有很长的路要走，但我们正在变得更好。

医疗保健行业正在努力防止误识别。至少使用两个患者标识符是标准做法，如姓名和出生日期。² 不幸的是，姓名和出生日期并不能唯一标识一个患者；应该使用第三个标识符，例如医院 ID、社会安全号码、带有条形码的手腕带、照片以及双因素认证设备等多种选择。然而，第三个甚至第四个标识符也不能解决问题。即使在理想情况下，进行重复过程的人类也只有 99.98%的准确率。在紧急医疗情况下，准确率会降到约 92%。³

计算机可以辅助医疗保健工作者提高准确性。美国大多数医疗保健系统使用多个患者属性的统计匹配。⁴ 一种警报通知用户，某患者在统计上与另一患者相似。然而，即使经过数十年的改进，医疗错误仍然存在。

尽管优秀的主数据管理可以将我们在健康信息交换中的正确识别率提高到 95%，但有些人得出结论，提高到 99%的唯一途径是采用普遍适用的患者身份证。⁵ 简单来说，如果社会决定优先考虑患者识别，就必须愿意接受普遍适用的患者身份证。主数据管理、企业整合、社会安全号码和国家医疗保障与普遍适用的患者身份证使用是一致的。

统一的患者身份证看似不可避免，但实际上并非如此。许多组织有充分理由反对统一的身份证或数据库。作为数据科学家，我们赞赏美国公民自由联盟的论点，认为任何全国性身份证都将导致对公民的监视和监控。⁶ ECRI 研究所，作为一家医疗保健研究机构，指出了患者身份政策中可以理解的文化和社会障碍。⁷ 美国全国步枪协会成功阻止了拥枪者可搜索的数据库。⁸

这就是我们介入的地方。在社会普遍接受统一身份证之前，数据科学领域必须证明用户的隐私可以且将会得到维护。我们的挑战在于确保人们对其数据使用方式和使用者拥有自主权。我们必须防止像 Equifax 那样的灾难性数据泄露，或者像 Cambridge Analytica、Facebook 和 Target 那样的不道德数据挖掘。⁹ 我们必须构建一种我们尚未赢得的东西：信任。

保护私人数据免受侵犯困难且昂贵，需要保持警觉。对数据的伦理处理同样会带来成本——剥削往往是有利可图的！统一身份证将是一个强大且可利用的工具，容易引发数据泄露。我们还没有准备好迎接它，但一旦建立起公众的信任，我们或许可以。

建立信任和适当的数据治理——这是我们消除医疗错误的方式。

¹ RAND 公司，“定义和评估患者赋权改进匹配记录的方法”，2018 年，https://doi.org/10.7249/RR2275.

² 世界卫生组织，“患者识别”，《患者安全解决方案》，第 1 卷，第 2 号（2007 年 5 月），https://oreil.ly/sXe-g.

³ Fred Trotter 和 David Uhlman，《Hacking Healthcare》（加利福尼亚州塞巴斯托波尔：O’Reilly Media，2011）。

⁴ RAND 公司，“身份危机：对美国医疗保健系统引入唯一患者标识符的成本与效益研究”，2008 年，https://rand.org/t/MG753.

⁵ ECRI 研究所，“患者识别错误”，2016 年 6 月，https://oreil.ly/3AYr0.

⁶ 美国公民自由联盟，“国家身份证的 5 个问题”，https://oreil.ly/vSWN4。

⁷ ECRI 研究所，“ECRI PSO 深入分析：患者识别”，2016 年 8 月，https://oreil.ly/lavcO.

⁸ Jeanne Marie Laskas，“联邦枪支过多的内幕”，GQ，2016 年 8 月 30 日，https://oreil.ly/DtejG.

⁹ 联邦贸易委员会，“Equifax 数据泄露和解”，2020 年 1 月，https://oreil.ly/Qhfzl；维基百科，“Facebook–Cambridge Analytica 数据丑闻”，最后修改于 2020 年 5 月 29 日，21:12，https://oreil.ly/szpeQ；查尔斯·杜希格，“公司如何获取你的秘密”，纽约时报杂志，2012 年 2 月 16 日，https://oreil.ly/1jHcf。

第四部分：定义适当的目标和适当的使用

确保任何分析和数据科学过程都以道德目标为目标至关重要。在创建过程之后，有必要确保结果仅在道德上应用。本节探讨了在开发和部署过程中这两个阶段所面临的问题。

第三十九章：算法的使用方式与人类决策者不同

Rachel Thomas

fast.ai 的联合创始人；USF 应用数据伦理中心主任

人们经常讨论算法，好像它们是即插即用的，可以与人类决策者互换——例如，仅仅比较错误率来决定是否用算法结果替换人类决策者。然而，在实践中，算法和人类决策者的使用方式是不同的，如果不解决这些差异可能会导致许多伦理风险和危害。

这里有一些算法和人类决策者在实际运用中不同的常见方式：

算法更有可能在实施时没有追索过程。
算法经常规模化应用。
算法系统成本低廉。
人们更容易认为算法是客观或无误的。

这些因素之间存在很大的重叠。如果实施算法的主要动机是削减成本，那么增加上诉流程（甚至是认真检查错误）可能被视为“不必要”的开支。

考虑一个案例研究：阿肯色州实施软件来确定人们的医疗保健福利后，许多人看到他们接收护理的数量急剧减少，但没有得到解释和上诉的途径。患有脑瘫的女士 Tammy Dobbs 需要助理帮助她起床、上厕所等，但她的帮助时间突然减少了 20 小时每周，生活变得更糟。最终，一场长时间的法庭审理揭示了软件实施中的错误，Tammy 的工作时间恢复了（以及其他受错误影响的人们）。

另一个现实案例来自于一个用于解雇公立学校教师的算法。对于第五年级教师莎拉·维索奇的课堂观察得到了积极的评价。她的副校长写道，“访问一个教室是一种愉快的体验，在这个教室中，合理教学的要素、积极学习环境和正面的学习氛围被如此有效地结合在一起。” 两个月后，她被一种不透明的算法与其他 200 多名教师一起解雇。PTA 主席和维索奇学生的家长称她为“我曾经接触过的最好的老师之一。每次我看到她，她都在关心孩子们，帮助他们复习功课；她花时间和他们在一起。” 那些因为没有追索机制而失去必要的医疗保健或被解雇的人们真是一个真正的反乌托邦！

数学家凯西·奥尼尔在她 2016 年的著作数学毁灭之武器（Crown）中写道，许多算法系统

倾向于惩罚贫困者。它们专门进行大宗交易，而且价格便宜。这就是它们吸引人的部分原因。相比之下，富人通常受益于个性化的建议。一家白手套律师事务所或独家预备学校将更多地依赖推荐和面对面的面试，而不像快餐连锁店或财政困难的城市学区那样。我们会一再看到，特权阶层更多地通过人工处理，而大众更多地通过机器处理。

这种伤害可能会因为许多人错误地认为计算机是客观且无误的事实而加剧。在加利福尼亚州兰开斯特市，一位市官员称，“通过机器学习、自动化，成功率达到 99%，因此那个机器人将会——将会——在预测下一步发生的事情时有 99%的准确率，这真的很有趣。”这种说法完全不正确。这是一个危险而常见的误解，可能导致人们忽视计算机输出中的有害错误。

作为机器人学家彼得·哈斯在一次 TEDx 演讲中所说，“在 AI 领域，我们拥有米尔格拉姆的终极权威人物”，指的是斯坦利·米尔格拉姆的著名实验，显示大多数人会服从权威人物的命令，甚至可能伤害或杀害其他人类。那么，人们更有可能信任被认为是客观和正确的算法？

由于算法通常用于更大规模的应用，大规模生产相同的偏见，并且被假定为无误或客观，我们无法以苹果和苹果的方式将它们与人类决策者进行比较。此外，在实施决策算法时，解决这些差异非常重要。必须实施系统来识别错误，并在任何算法实施之外实施追索机制。同样重要的是，确保使用算法输出的人员明白计算机并非无误，他们有能力提出任何他们发现的问题。

第四十章：支付你的公平债务，技术债务的暗影双胞胎

阿诺比奥·莫瑞利克斯

创新官员，创业基因组织

杂志《公司》的数据科学家驻地

技术债务是一个熟悉的概念。它用来描述临时创建的简单代码，在短期内完成其主要任务，但在长期内维护和扩展起来不灵活和低效。现在是时候熟悉其暗影双胞胎——公平债务了。

就像技术的对应物一样，当我们构建系统以满足今天的情况和用户群体，但未来继续部署解决方案时，会产生意外后果，从而产生公平债务。

通过为特定性能指标优化我们的系统和算法而不加以约束，我们可以产生公平债务。数据科学家和技术人员经常会有意无意地做出这些类型的优化选择。

但是当优化进展自然进行时，通常会带来公平债务。例如，Google Ventures 的一篇文章建议优化用户在您的应用上观看视频的时间。起初，这可能是一种完全合理的工程努力集中方式，但当使用量过多时，可能会对用户造成损害。正如亚马逊的 AI 产品经理所说：“当公司试图让用户从每天花费七分钟到八分钟在他们的应用上时，这是可以接受的。但当一些用户冒着从每天花费七小时到八小时的风险时，情况完全不同。”

起初，公平债务不是由公司而是由用户或社会承担。但一旦它们变得足够大，就会影响我们所有人。针对那些优化以吸引注意力的智能手机和应用的公司的反弹——以及这些企业在用户和监管方面所面临的真正逆风——是债务可以推迟但无法原谅的证据。

超越“注意力优化”，想象一个更阴险的场景，在这种场景中，你有一个金融科技公司仅仅为贷款的盈利性进行优化。很容易想象会出现算法性的红线现象，而且加州大学伯克利分校的研究人员发现了证据。他们的研究显示，金融科技放贷者每年会因为不允许的歧视，使拉丁裔和非裔美国人的抵押贷款重新融资者损失合计 7.65 亿美元。

但就像技术债务一样，公平债务可以避免并提前支付。我们在 Upstart 就有这样的例子。

想象一下，就像 Upstart 遇到的情况一样，作为一名金融科技创始人或技术专家，你醒来后收到了消费者金融保护局（CFPB）的一条消息，提到对你的公平借贷实践进行审查，而这发生在你的产品上市仅仅几年之后。¹ 你可能一直在“快速前进、破坏事物”，只专注于改进技术和扩展业务。但你处在一个高度监管的行业中，人们对你所做事情的意外后果越来越感兴趣。例如，伊丽莎白·沃伦参议员和道格·琼斯参议员正在致函联邦储备委员会、联邦存款保险公司（FDIC）和 CFPB，询问他们在基于算法的贷款监管立场。

虽然监管机构并没有直接称之为“公平债务”，但它们正确地意识到了这种可能性。但是 Upstart 对此深表重视，并且未让这种债务发生。

Upstart 的 AI 模型从一开始就非常注重公平，显示出了惊人的成果——以至于CFPB 采取了罕见的举措广泛分享它们的表现有多好。Upstart 能够批准比传统贷款模型多 23–29% 的申请人，且在每个经过测试的种族、族裔和性别群体中，利率降低了 15–17%。此外，年轻成年人获批贷款的可能性提高了 32%，收入低于 5 万美元的人群的贷款批准率提高了 13%。

就像技术债务一样，招致公平债务是一种选择，而非必然。及早并频繁地偿还，或者更好地，根本不要产生这种债务，这才是正确的选择。像 Upstart 使用的 AI 解释性方法，以及像 Fiddler Labs 这样的公司所生产的方法，可以帮助这一过程。在我们的技术和算法将越来越受到审查的世界中，那些在避免公平债务方面谨慎的公司将获得回报。

¹ 欲了解更多信息，请参阅 Upstart 的博客文章以及 CFPB 的不提起诉讼信函和公平借贷报告。

第四十一章：AI 伦理

Cassie Kozyrkov

Google Cloud 首席决策科学家

为什么我们不讨论 AI 相对于其他技术独特更危险的地方呢？

与 AI 伦理相关的话题至关重要、及时且必不可少。我只是希望我们不要在……甚至与 AI 无关的情况下使用“AI 伦理”这个术语。许多所谓的 AI 伦理讨论焦点实际上是关于技术总体，而且它们并不新颖。将它们剔除，你会剩下一些集中在人格和奇点问题上的话题。不幸的是，这些会让你分心，而不是真正应该担心的事情。

将 AI 包装成镀铬的人形机器人，这是对公众无知的利用。我们这个物种看到任何事物都会投射人类的特征，从面包上看到面孔到云朵上看到身体。如果我在袜子上缝两个钮扣，我可能会和它说话。那只袜子娃娃不是人，AI 也不是；机器人只是另一种宠物石头。如今所说的“AI”不是指开发人形实体的替代品，而是一套写软件工具，让你可以通过示例（数据）而不是明确指令来编程。这才是 AI 的承诺和真正的危险所在。

分散注意力的层次

想象一下，你想自动化一个需要 10,000 步骤的任务。在传统编程中，人类必须为每一个小指令努力工作。

将其视为需要人类手动组装的 10,000 个乐高积木。由于开发者们幸运地不耐烦，他们会将一些部分打包起来，这样就不必重复劳动。你可以下载这些包，只需将 50 个预先构建的每个有 200 个小积木的乐高构造件组合起来，而不是用 10,000 个零散的积木工作，如果你相信他人的工作，你可以将屋顶件连接到房屋件，而不是考虑瓦片和砖块的级别。

但有一点需要明白：即使你不必亲自完成所有这些（谢天谢地），这 10,000 步骤中的每一条指令都是由人类大脑苦苦思索出来的……而那部分将随着 ML/AI 而消失。

AI 自动化无形之物

利用 AI，你可以说，“试着在这份数据上取得一个好成绩”，而不是编写“这样做，然后这样，然后这样……”的代码。

换句话说，AI 允许人类跳过手工制作 10,000 个明确解决步骤，而是通过开发者给出的示例中的模式自动产生这 10,000 行（或类似的内容）。这意味着即使没有人能够思考如何执行这些明确指令的任务，你也可以自动化这些任务。

如果你从未思考过ML/AI 究竟自动化了谁的工作，你准备好被震撼了：

开发者自动化/加速了其他人的工作。
ML/AI 自动化/加速了开发者的工作。

当今在 ML/AI 工程领域，有很多忙忙碌碌，但大多数是在启动和操控不友好的工具。在你的项目中可能会写下 10,000 行代码，但大多数是为了说服笨拙的工具接受你的数据。随着工具变得越来越好，你最终会发现在 ML/AI 中只有两个真正的指令：

优化这个目标...
...在这个数据集上

就是这样。现在你可以用两行人类思维来自动化你的任务，而不是 10,000 行。这既美丽又令人恐惧！

AI 实现了无思考

这里最直接的 ML/AI 特定问题是：无思考的启用。

有些任务并不是很重要，能够毫不费力地完成它们是很棒的。但是当重要时，负责项目的人真的会在这两个 ML/AI 指令中的每一个上投入 5,000 指令的思考吗？

AI 是用例表达自己，但你不幸的是可以选择将系统指向一个数据集，而从未验证它是否包含相关、无偏见、高质量的例子。如果你允许自己在关键任务中无思考地选择数据，你可能会手忙脚乱地应对灾难。

AI 也不会阻止你选择一个听起来在你脑海中不错，但结果却是个糟糕主意的目标。比如领导可能对一个人类开发者说：“尽可能捕获尽可能多的垃圾邮件”，期望得到一个稳健而明智的过滤器。以同样的方式对 AI 算法表达这一目标，很快你就会开始纳闷为什么没有新邮件进来了。（答案：将所有东西标记为垃圾邮件可以得到你 表述的 目标的完美得分。）

AI 可怕的不是机器人。是人。

每当你将一个无思考的启用因素与速度和规模结合起来，你就会得到快速增强疏忽的配方。

我害怕 AI 吗？

不。

如果你问我是否害怕 AI，我听到的是在问我是否害怕人类的疏忽。这是问题对我有意义的唯一方式，因为我不相信机器人童话或与宠物石头交谈。

我对人类在 AI 未来持乐观态度，但我也在尽我所能不让其冒险。我坚信在 AI 时代负责任领导的技能是可以教授的，人们可以安全地构建有效的系统，推动进步，使周围人的生活更好。这就是为什么我和像我一样的人选择站出来，分享我们通过经验或通过挖掘以前孤立的学术学科所学到的东西。

技术改善我们的世界，解放我们免受疾病之苦，拓展我们的视野，将我们与亲人联系在一起，并赋予我们更长的生命。它也可以带来惊喜，不稳定和重新分配。它扩展得越多，可能带来的干扰就越大。始终应该将你的工具，包括人工智能，看作是在扩展你自己，而不是独立运行的。当它们扩展你的同时，确保你有能力避免踩到周围人的脚趾。

因此，由你来重新注入消失的思考回到你选择建立的人工智能项目中。通过将你的新发现的力量指向负责任的方向，你将释放出技术的最好一面。如果我们愿意，技术可以是美好的……而我相信我们会愿意。

第四十二章：道德数据叙事者

布伦特·戴克斯

作者兼高级总监，洞察力和数据叙事，

Blast Analytics

当讨论数据科学和伦理问题时，数据隐私和机器学习中的偏见常常是人们关注的焦点。想到个人数据可能会被公司误用，或者算法可能会持续种族、性别或年龄偏见，这确实令人不安。然而，如果我们退后一步，评估整个数据生命周期，我们会发现伦理可以影响从数据收集到如何使用它做出决策的方方面面。在数据生命周期的每个阶段，包括与观众分享或传达关键见解的“最后一英里”，都需要一种基于原则的分析方法。

随着有效传达见解的需求增加，许多人对“数据叙事”表现出兴趣，其中关键见解被视觉化并以引人入胜的叙事形式呈现。然而，一些数据专业人士仍对叙事在传达发现中的角色持怀疑态度并感到不适。故事常与娱乐、虚构和废话联系在一起，这使得一些人将叙事视为主观和肤浅。其他人可能认识到叙事的说服力，但认为它可能会损害事实的完整性。因此，一些人更愿意让事实保持原样，不带入任何叙述性处理。

尽管人们普遍倾向于相信“事实可以说明问题”，事实往往并非如此。纯粹的逻辑和理性通常不能吸引人们并激励他们采取行动。因此，许多宝贵的洞见被误解、忽视和遗忘。有趣的是，人类大脑已经被条件化为寻找并回应故事。正如社会心理学家乔纳森·海德特所说，“人类思维是处理故事的器官，而非逻辑处理器。” 神经科学家如南加州大学教授安东尼奥·达马西奥也发现情感在决策中起到重要作用。有效的数据叙事可以在逻辑和情感之间架起桥梁，帮助听众不仅听到你的统计数据，还能感受到它们。

用数据讲故事有助于更有效地分享见解，但必须以负责任和道德的方式进行。我们不仅需要更多的数据叙事者，还需要那些以诚信分享数据故事的道德叙事者。要成为道德数据叙事者，你需要牢记以下原则：

确保见解的真实性。

数据是每个数据故事的基础。您希望尽一切可能验证数据的准确性和可信度。虽然没有人能保证每个数据点的准确性，但道德数据叙事者将在追求真理的过程中严谨，努力提供可信的、方向性正确的见解。

检查你的偏见并注意逻辑谬误。

每当你构建一个数据故事时，你需要注意潜在的认知偏见，比如确认偏见，可能会对你的分析产生负面影响。你也需要小心，不要让错误的推理，比如把相关性误解为因果关系，损害你的结论。虽然对于可犯错误的人类来说完全避免偏见和谬误可能很困难，但一个道德的数据讲述者会尽可能客观和严谨地进行分析和推理。

从数据开始，而不是从叙述开始。

当你从一个希望的叙述开始来证明一个观点或支持一个决定时，你就会损害你的数据故事的完整性。你会倾向于选择只有增强你所期望叙述的数据点，并忽略那些不支持的数据点。当数据故事的目的已经确定时，数据和叙述通常会受到限制和偏见的约束。一个道德的数据讲述者会在分析数据之后才开发叙述，以保持分享见解的完整性。当以开放的心态处理数据时，它可能会带你走向意想不到但有益的地方。

以清晰、可靠的方式将数据可视化。

使用数据可视化在你的数据故事中的目标是帮助观众清楚地理解你的见解。根据你选择包含在图表中的数据或者你决定如何可视化它，你可能会无意或有意地误传或扭曲你的发现。例如，有价值的展示季节性的上下文数据可能会被忽略，或者通过调整 y 轴的比例来夸大趋势的大小或斜率。一个道德的数据讲述者在可视化数据时会有纪律性，确保他们的图表是沟通的，而不是欺骗性或操纵性的。

当你努力以道德方式创作和讲述数据故事时，你就在建立自己作为数据讲述者的信誉。你在处理数据叙述时的关注和细心，帮助你与关键利益相关者建立关系。你成为他们通过数字和图表理解、信任和行动的可信顾问和向导。当目标是让其他人理解、信任和采纳你的见解时，以道德方式处理数据故事不仅仅是令人钦佩的，而且对于你作为数据讲述者的成功至关重要。

第四十三章：影响数据科学社会使用的因素失衡

Nenad Jukić

芝加哥洛约拉大学信息系统教授

显而易见，没有数据就没有数据科学。对于社会改进来说，最有用的数据是由人类生成和/或基于的数据。有许多因素会影响这类数据的使用，例如隐私的需求、分析的动机以及共享集体数据的好处。在本文中，我们将假定术语“共享数据”代表的是由多个人类生成的数据条目组合的数据，而不是代表一个个体的数据。

在当代关于人类相关数据的讨论中，隐私问题被视为一个独立的问题，比其他相关问题更值得关注。这种情况，即将隐私孤立考虑而不与所有其他问题一起考虑，是阻碍在社会上有益地使用数据的进展的障碍。毫无疑问，如果具有良好意图的熟练数据科学家能够访问更多相关数据，那么在健康保健、教育和环境保护等领域的显著改进是可能的。

根据数据分析的动机以及利用所有权特权的能力，隐私问题和共享数据使用问题的处理方式有很大不同。在以盈利为目的的行业分析中（如零售、银行或电信），分析的动机主要是希望销售更多商品和服务以及最大化利润，这些主要玩家（如亚马逊）可以访问大量属于他们的客户生成数据。这些主导玩家在使用这些数据以实现他们认为合适的利润目的方面，更或多或少地自由。

另一方面，在传统上不以盈利为导向而以更大社会效益为导向的领域中，数据由众多利益相关者生成，如教育、医疗和公共政策，情况就不同了。例如，让我们来看看医疗领域。

几乎可以肯定，目前无法治愈、无法治愈或长时间未被检测到的许多健康状况或疾病，如果数据科学家得到适当的数据并允许使用适当的方法，实际上可以得到治疗。考虑以下场景：一个大型医疗系统为数十万患者收集并存储大量数据，这些数据涵盖数年甚至几十年。该系统的患者通过多次检查、血液检测、服药等产生数千个数据点。因此，这家医疗系统拥有关于个体患者的详细健康数据的几个 TB。如果能够毫无阻碍地访问整个数据集，数据科学家与流行病学或肿瘤学等医学研究人员合作，无疑会发现以前未知的模式，可能导致新的医学发现和治疗方法。然而，由于许多因素，这种情况在美国医疗系统中很大程度上是不可能的。这一潜在成就的主要障碍之一是法规未能考虑隐私与其他社会利益之间的相互作用。

由于这一结果，我们发现自己处于一个世界中，在这个世界中，亚马逊可以轻易地使用你的个人数据，结合数百万其他购物者的数据，来激励你购买更多商品。与此同时，你的医生却无法利用数据科学，比较你的血液检测数据与数百万其他个体的数据，可能导致早期发现一种其他诊断方法无法发现的医疗问题。类似的例子在教育、城市规划和环境保护等其他领域也存在。

现在是时候审视影响个人数据使用的所有因素，并制定新的法律和组织框架，考虑这些因素如何相互关联。如果这种发展不发生，进步和发现可能会发生在其他地方，可能是已经拥有数量庞大的高度训练的数据科学家团队、比任何人都要多的数据以及可以任意决定如何使用数据的权力中心的地方。这样的发现不太可能与更广泛的人类分享，与其源自理解如何从数据科学中获得社会利益的自由开放社会相比。

第四十四章：概率——统治分析伦理的法则

托马斯·凯西

Teradata 执行董事

多年来，分析帮助我们更好地理解我们的世界，并支持我们的决策。随着更先进的分析技术的出现，我们已经发展到非人类可以代表我们做出决策的地步。很多文章讨论了像“机器学习”和“深度学习”这样的概念，作为可以推动令人难以置信结果的技术。然而，无论如何，如果你不先理解概率及其对分析驱动决策的伦理影响，你无法使用这些技术来做出任何决定。

当概率和伦理相冲突时

如果你问一个算法是否应该玩彩票，答案肯定是“不”。基于概率和置信水平，你赢得彩票的可能性是统计上不可能的，因此玩彩票并不值得冒这种实际风险。事实上，尽管这个决定对几乎所有人来说都是合适的，但是由于玩彩票的人数众多，总有人最终会赢得。在这种情况下犯错似乎是微不足道的（除非你错过了百万美元）。然而，如果一个由算法做出的决定阻止你登机怎么办？如果它误诊了癌症？如果自动驾驶车辆决定向右转而撞击你的孩子，因为它“预测”左转存在更大的风险？这些决策都无法确定，每一个都会根据可能性或正确性应用某种可接受的风险水平——如果模型做出错误的决定，它也不会感到后悔。

人类如何试图在算法中注入伦理

人类和机器的婚姻用于增强决策有很大的优点。问题在于每次人们试图将伦理标准应用于模型时，他们固有地（无论好坏）注入了一定程度的偏见。例如：

注入“正确”的偏见

像谷歌和 Facebook 这样的公司在研究中面临了显著的反对意见，显示他们的算法推荐了一些信息提供者而不是其他人。无论是否有恶意或明确的偏见意图，这些公司继续调整他们的算法，以展示他们的结果更好地反映了某些人认为它们应该代表的看法。

简化模型

近几年来，深度学习作为一种在许多知名应用中使用的技术（如图像识别、语音翻译、高级游戏玩法等）声名鹊起。深度学习的缺点在于很难，如果不是不可能，确定达成某个特定结果的原因。在某些情况下，公司和其他机构被迫转向更简单和不那么有效的（有些人甚至会说愚蠢的）技术，只是为了能够解释决策背后的理由。

覆盖决定

存在许多情况下，覆盖算法的能力是有意义的。然而，在其他情况下，覆盖算法会给我们一种虚假的安全感。例如，一些自动驾驶汽车服务因重大事故而遭受负面新闻，于是让一名员工坐在前排不做任何事情，虽然他们可能随时准备抓住方向盘。虽然这可能给我们一种控制感，但有人可能会认为以这种方式注入人类是毫无意义的，最好的情况下是无益的，最坏的情况下甚至是危险的。

非人类决策的伦理影响

向更多自主决策的方向前进是不可避免的。然而，毫无疑问地，会有一些情况下，一个决策在统计上是合理的……但它会是错误的。如果你推荐了一部错误的电影观看，那并不是灾难性的。然而，如果一个算法在数千或数百万次生死决策中偶尔出错，那将是问题的。也许好处远远超过错误的可能性，也许算法在做出决策方面比人类要好得多。然而，对于受到非情感决策者情感结果影响的人来说，这显然是不够安慰的。因此，在未来，当我们考虑将复杂决策交给基于概率法则做出决策的无情算法的伦理影响时，我们需要问自己：我们确定吗？

第四十五章：在模型表现出结果之前不要进行概括

迈克尔·亨德

IBM 研究 AI 卓越研究员

机器学习的惊人进展源于其能够在（通常是大规模的）训练数据集中找到模式的能力。这种能力可以导致预测与甚至超过人类在同一任务上的预测。然而，这些系统有时会被一些不会迷惑人类的预测任务所欺骗。一个例子是一个机器学习系统可以正确识别街道标志，如停车标志，但会错误地预测一些贴了几个黑白贴纸的停车标志实际上是速限标志。

这种令人惊讶的能力不足的原因是，机器学习系统与人类的预测方式不同。它们寻找各种结果组的区别模式，比如哪些贷款申请者应该获批或被拒绝。然而，人类则应用模式识别和推理的结合。机器学习系统中缺乏这一推理步骤可能会导致意想不到的结果，就像停车标志的例子一样。

公众对机器学习（AI）的印象如下：

AI 有时“思考”的能力比人类更好。
AI 很容易被欺骗，因此不值得信任。

结果是一个超人类技术，不值得信任。请在此处插入您喜欢的电影剧本。

我们能做些什么呢？嗯，作为数据科学家，我们无法控制媒体如何描绘我们的工作，特别是考虑到技术工作需要为非技术人员总结。然而，我认为在这种沟通管道的开始阶段，我们对增加对 AI 系统的信任还不够。我们需要更明确地说明我们的系统实际上是如何运作的。

让我们考虑一个例子。假设我们开发了一个模型，用于预测纽约布鲁克林的贷款申请者的信用价值。该模型考虑薪水、债务、房屋和车辆所有权等信息，以预测申请者是否会偿还他们的贷款。该模型在布鲁克林进行了测试和部署，并显示出 95%的准确率。基于这一成功，公司正在考虑将模型部署到北达科他州俾斯麦。我们是否应该期望在俾斯麦也能获得同样的准确率，那里的其他因素，如房屋和车辆所有权，可能与布鲁克林有很大的不同？我认为我们如何描述布鲁克林的经验将极大地影响对俾斯麦部署的期望。考虑以下两个说法：

该模型能以 95%的准确率预测信用价值。
该模型能以 95%的准确率预测纽约布鲁克林的申请者的信用价值。

尽管两个声明只在“适用于纽约布鲁克林的申请人”这些词语上有所不同，影响却可能很大。第二个声明准确描述了模型的特征，而第一个声明暗示着模型以 95%的准确率在一般情况下工作。第二个声明对来自其他地方甚至纽约其他地区的申请人没有明确或暗示性的声明。它鼓励有兴趣的一方去问：比斯马克的贷款申请人是否和布鲁克林的贷款申请人相似？

由于两个城市之间的多个因素可能平均上会有很大差异，人们需要在对比斯马克的模型进行广泛测试之后才能对其有效性有信心。

泛化是指模型是否真正适用于测试数据集（布鲁克林）之外的一般输入（比如俾斯麦或其他地方）。因此，数据科学家们，请准确描述模型的结果，不要在你知道模型是否泛化之前对模型的能力进行泛化的声明！

第四十六章：走向价值导向的机器学习

Ron Bodkin

Google Cloud 首席技术官办公室

机器学习（ML）已经成为现代生活中许多方面的重要组成部分，随着数字体验的增加，我们越来越依赖于自动化算法来进行发现、策划以及在娱乐内容（例如 Medium 和 TikTok）、通信（Slack 和 Gmail）、导航（Google Maps）以及购物（Amazon 和 Stitch Fix）等领域做出选择。

机器学习经常被视为一种价值中立的技术，客观的，不受价值观影响或依赖。但实际上，机器学习是一种工具 —— 像任何工具一样，它的使用基于价值观，并且它所产生的后果影响我们的价值观。

自 2007 年以来，我负责将机器学习应用于实际问题，并反复发现使用机器学习会导致意想不到的后果。就像一个邪恶的精灵，机器学习模型通常会准确地给予你你所期望的（优化你所指定的内容），但并不是你真正想要的结果。十年前，当我在 Quantcast 担任工程副总裁时，我们经常会感到沮丧，因为我们创建的机器学习模型无法正常工作。它们会利用我们数据或问题设置中的细微错误，我们不得不努力理解它们的工作原理，以便修复我们的数据并调整我们的目标（或损失函数）以实现我们意图的结果。

最近，在诸如偏见机器学习模型等领域，出现了重要的意外后果实例。例如，亚马逊的招聘算法对女性工程师的偏见，以及 Alphabet Jigsaw 的有毒内容算法对特定身份群体的偏见。更普遍地说，推荐系统显示出对“垃圾”、具有煽动性的“点击诱饵”内容的偏见（例如，最近 Facebook 的算法变更的影响）。还有从明确损害客户利益的角度出发的价值挑战，例如，亚马逊在利润优先于顾客需求改变机器学习驱动的搜索结果。

到目前为止，解决这些问题的大多数方案都是基于这样一个前提：你可以优化一个价值中立的目标函数（例如最大化收入或应用程序上的时间），同时建立各种防护措施。常见的技术包括过滤出问题案例、准备数据以避免偏见、设计模型解释工具以及跟踪次要指标（例如长期队列参与度跟踪而非短期反应）。

我认为这种方法基本上是不够的 —— 以价值中立的目标为导向在定义上是不道德的。相反，我认为我们必须做得更多：我们必须在我们测量的目标中编码价值观，并努力寻找明确产生良好结果的方法，除了其他伦理人工智能实践。

价值观重要性的例子

考虑内容推荐系统。Tristan Harris，人文技术中心的联合创始人，对这个问题有着独特的思考方式。想象一个内容光谱，从再生性的（例如反思性和深思熟虑的内容，比如广受尊重的出版物中的文章）到提取性的（例如煽动性和极端的内容，比如边缘或阴谋论网站），如下图所示。

几年前，内容推荐系统通常是为了优化点击而进行训练的。这导致了很多低俗的点击诱饵内容，对用户来说并不具有吸引力（或再生性！）。下一个发展阶段是为了优化总体参与时间。这导致了更持久的用户参与，但不可避免地导致了更多煽动性和极端的内容（如阴谋论、政治极端主义和犯罪活动）。在那个内容的光谱中，系统倾向于图表的右侧——用户参与流向更耸动和令人担忧的材料（见下图）。

这种趋势还增加了数字上瘾，而且以有意义的方式，贬低了系统和社会的用户。人工审核、服务条款的监管以及阻止和/或不推荐和/或不提供不准确或其他不良内容的广告的次级系统有所帮助。然而，不良行为者不断找到方法来探索边界并创造最糟糕、最具成瘾性的内容，这将被推广。您可以将这些做法看作是在防范最坏内容的同时保持同样有害流程的屏障，如下图所示。

相反地，想象一个明确优化高质量参与的系统，通过增强再生性内容（见下图）。这应该包括诸如匹配用户花费的资源与他们的意图——例如，“我想每周享受不超过五个小时的娱乐内容”，“我不想被拖入看猫视频直到凌晨两点”，或者“我希望每月的视频娱乐开支不超过 50 美元”。它还应该包括对整个社会的影响——例如，通过向人们提供信息、引发有意义的互动、鼓励深层次的个人互动以及促进政治话语的演变。

当然，将这些概念表示为简单的数学函数是很困难的——对于高质量参与的定义存在着多样化的观点。

如何继续？

这不应被视为进步的障碍，而是技术社区应该拥抱的重大挑战。我们如何更好地创建优化我们价值观的客观函数？我们如何更好地预见和减少意外后果？我们如何在系统的目标编码中增加更好的透明度和可见性？

我相信这将成为一门至关重要的工程学科——将技术才能与对政策目标和伦理的广泛洞见相结合。同样，Keras的创始人 François Chollet 认为，为机器学习设定正确的目标至关重要，并且预测“损失函数工程师可能会成为未来的职称”。

在长期研究与实际系统之间的差距中，AI 价值对齐（例如，逆强化学习）有很多机会。但最重要的一步是对 AI 系统的伦理负责并将价值观融入设计中，尤其是它们的目标！¹

¹ 改编自 Ron Bodkin 的文章，“走向基于价值的机器学习”，Medium，2019 年 10 月 12 日，https://oreil.ly/HDlOW。

第四十七章：在民主化数据科学领域建立知识的重要性

贾斯汀·科克兰

信息系统副教授，

肯尼索州立大学

数据科学工具变得越来越“民主化”，或者说在组织内部更广泛地分布给那些不久前只能请求分析而不是自己执行分析的角色，这一点众所周知。这些工具在特定分析技术、连接多种数据来源的能力以及与组织内外的人分享数据的能力方面变得更加复杂和精密。数据科学工具之所以能够广泛在组织中民主化，尽管它们变得更加强大和复杂，主要原因在于工具的开发者能够成功地向最终用户隐藏其复杂性（直到用户因特定原因需要剥开层层）。

隐藏的复杂性和复杂的分析方法的结合，在数据分析驱动决策时引入了一些风险。用一个过于简单的类比来说，我们信任用户使用计算器，因为他们熟悉和了解基本算术。当分析能力可以在点击一个按钮的情况下获得，但最终用户却不理解“算术”时，会发生什么？这可能会打开使用错误技术、违反关键假设并呈现误导性结果的分析的大门，所有这些都可能导致次优或错误的决策。当这些错误决策不公平地影响员工、客户或其他相关人员时，会发生什么？

一般来说，在描述性统计和数据可视化领域处理时，这种风险并不太高。然而，当分析更多地依赖于统计学、算法、机器学习和人工智能时，问题可能变得更加棘手。换句话说，在组织内部部署数据科学工具时，风险的水平并不一致。当分析方法对决策者和决策者来说是盲目的时，他们的责任是多少？在基础复杂性高而易用性也高的情况下，有哪些方式可以减轻风险？

第一条途径是强调持续教育。随着工具一代又一代的发展，组织和大学的培训教育部门不仅需要覆盖工具的使用和功能，还需要覆盖各种分析方法的限制、假设和潜在风险。在最终用户层面没有持续的教育，分析可能是错误的——尽管可能只是间歇性的——这将破坏组织内数据驱动决策的努力。如果我不知道哪些分析我可以信任，因为它们在根本上是正确的，使用可靠的数据，并且不违反技术的假设，那我怎么能信任任何分析呢？

第二种方法是利用软件来监控假设，根据已知技术限制提出建议，并在分析可能存在漏洞时通知最终用户。例如，我的数据集是否提供了过多的统计功效，推断是否需要以其他方式验证？我的数据是否违反正态性要求？嵌入式警告系统不仅有助于减轻不同分析所带来的风险，还能告知最终用户他们需要进一步了解的领域。

组织理解在各种复杂程度的层次上运营所需的知识水平至关重要，这涉及到能够胜任、遵守伦理和责任地工作。如果没有适合分析类型所需的知识投入，组织可能会面临破坏决策信任、对相关方产生负面影响的决策，甚至与组织价值观相冲突的风险。在组织内推广数据科学工具可能存在其他技术手段来减轻风险，但显然，这些工具不断进步的能力要求分析师、软件开发人员或最理想情况下两者都持续进行知识建设。

第四十八章：机器学习预测传达的伦理问题

拉多·科托洛夫

CEO，Trendalyze 公司

今天，人们对我们拥有的惊人计算能力充满着着迷。计算机能够比人类更快地找到信息，比许多人更精确地从数据中提取洞察，比专家更快地回答问题，比大师更擅长下棋，等等。人们对机器已经建立起了如此多的尊重和信任，以至于他们经常将由机器生成的洞察作为事实来传达。

在他的文章“中位数不是信息的全部”，最初发表于 1985 年的Discover杂志上，著名的进化人类学家斯蒂芬·杰伊·古尔德首次警示我们，不具备数学或科学背景的普通人面对统计和机器学习预测时所面临的危险和道德后果。在文章中，他描述了自己被诊断出患有致命癌症，医生拒绝告诉他预期寿命的个人经历。他在哈佛医学图书馆自行研究后得知，中位数预期寿命仅为八个月：“这就是为什么他们没有给我任何东西看的原因，”他想，“然后我的思维再次开始运转，谢天谢地。”

古尔德接着解释为什么使用中位数、平均数或任何其他统计预测来传达不治之症的预期寿命是错误的。终末期患者的积极态度在增加治疗效果中起着至关重要的作用。但统计预测通常会杀死积极态度，因为不懂统计学的人们不可避免地会误解信息。正如他所指出的：

“八个月的中位数死亡率”在我们的口头语中意味着什么？我怀疑大多数没有统计学培训的人会把这样的声明理解为“我可能会在八个月内死去” —— 这个结论必须避免，因为这种说法不准确，而态度的重要性如此之大。

许多统计趋势指标（如中位数和平均数）的问题在于，人们将它们视为硬性事实，而忽略了它们周围的变异。但事实应该恰恰相反。变异是生活的事实，而中位数和平均数只是提供对更为复杂现实的不精确表示的人工产物。在他的诊断后，古尔德还活了 20 年，并出版了许多书籍。

2020 年 1 月 31 日，在《每日秀》与特雷弗·诺亚节目中，该节目主持人问：如果美国的预期寿命首次增长到 74 岁，我们会如何处理这些信息？我们会祝贺那些达到这个年龄的人吗？我们会设定个人目标以达到这个年龄吗？我们会认为未能达到这个年龄的人是失败者吗？所有这些都指向了我们如何传达从机器学习中得出的信息的重要性。

想象一个自动决策系统，其中一个患者通过算法进行诊断，并且预期寿命显示为一个大大闪烁的关键绩效指标（KPI）。这不仅毫无意义，还可能令人泄气。

随着我们部署更多的机器学习应用程序，我们可能会看到更多这样的关键绩效指标（KPI）。我们还没有开发出能够有意义地向医生和患者传达变化重要性及其解释的可视化工具。数据科学家指出，解释的负担落在医生身上。但医生不是数据科学家，与许多其他人一样，他们更倾向于接受这些预测作为事实。趋势及其周围变化的含义越难解释，人们就越有可能把单一数字作为生活的事实。

这个问题不仅限于医疗行业。想象一下，如果任何行业的管理者把中心趋势视为必须达成的硬性事实，来定义他们必须实现的目标。会有许多不准确的计划，甚至会错失更多的机会。因此，分析行业必须集中解决机器生成的见解和预测的沟通问题。我们不能期望普通人和专业人士理解复杂建模过程中的所有复杂性。

第四十九章：避免落入毛骨悚然程度的错误部分

Hugh Watson

乔治亚大学特里商学院管理信息系统教授

有些利用个人数据的算法被认为是有帮助的，比如 Netflix 上的电影推荐、Yelp 推荐附近餐馆，以及 Waze 的驾驶路线。其他则让人感到毛骨悚然。还记得第一次在网上浏览商品，然后几天内就被来自各个供应商的广告跟踪吗？第一次见到某人，然后很快收到 Facebook 推荐加该人为朋友，也是令人毛骨悚然的。有些个人数据的使用方式确实非常不妥，比如俄罗斯通过定向新闻订阅影响选举结果，或者你在 Facebook 上把婚姻状态从“订婚”改为“单身”后，就收到订婚戒指转售商的广告。

对个人数据和算法使用的不同反应可以通过毛骨悚然程度来衡量，如下图所示，其中 y 轴表示毛骨悚然程度，x 轴表示个人数据和算法使用的程度。

当某事与常规不同，并被认为可能构成威胁或有害时，就会让人感到毛骨悚然。举例来说，一个未经你知情就向他人显示你位置的应用通常是令人毛骨悚然（或者干脆说是错得离谱的），而亚马逊的购物推荐等其他应用功能通常被视为有帮助，因为它们并不构成威胁。

广告或消息的时机和内容也很重要。例如，在医院急诊室收到个人伤害律师的广告似乎不太合适。同样，你不希望在给朋友发送关于你新诊断癌症的电子邮件后看到临终关怀广告。

人们对于什么是毛骨悚然因人而异，且随时间变化，不同人对隐私问题的关注程度和处理方式也各不相同。例如，千禧一代通常被认为对隐私问题的关注较少，因为他们在社交媒体上发布个人信息非常频繁；但他们通过屏蔽某些人（例如前男友）来控制自己的个人信息。一个人第一次经历互联网上追踪广告时，再次遇到时他们并不觉得它那么毛骨悚然。

使用大量个人数据和基于深度学习模型的高级算法的应用并不总是令人毛骨悚然。例如，First Data（最近被 Fiserv 收购）利用大量个人数据，并使用深度学习模型自动检测和预防在线和实体店信用卡欺诈。顾客对此并不感到困扰（偶尔会因误报而被打扰），因为他们得到了保护。只有欺诈者可能会抱怨，而且没人会为他们感到抱歉。

另一方面，即使一个应用程序使用的个人数据很少，也可能会受到严厉批评。在航空业，有些航空价格算法使得在伊尔玛飓风来临之前，试图逃离南佛罗里达的人们的机票价格飙升，这种情况就是如此。

这些讨论显示了可怕性是一个微妙的概念。即使一个潜在的应用程序是合法的（这越来越成为一个考虑因素），也不意味着它是公平和道德的，也不应该开发。那么管理者、专业人士和公司应该采取什么措施，以确保他们不会在“这很可怕”和“这太错误”的可怕性范围内开发和使用应用程序？

最重要的一步是扩展治理（例如，人员、委员会和流程），以包括那些为任何分析应用程序带来必要视角的额外人员。流程可能有所不同，但需要涉及业务、IT 和分析经理，以及与客户互动的律师、数据科学家和业务专业人员。需要业务经理和专业人员评估任何潜在的业务风险。律师们负责确保个人数据的获取、存储、保护、使用和共享方式不违反法律和法规，例如欧盟的 GDPR 和 CCPA。IT 经理和专业人员负责安全地收集、存储、使用和可能共享数据。分析经理和数据科学家需要将关注点从简单开发准确模型扩展到考虑他们工作涉及的更广泛问题。而接近公众的人们需要回答这个问题，这样做是否公平并符合客户的最佳利益？

第五十章：分诊和人工智能

彼得·布鲁斯

统计教育学院的创始人，统计教育研究所的创始人，

一家老年研究公司

Predictim 是一个服务，扫描潜在的保姆的社交媒体和其他在线活动，并为其发布一个得分，父母可以用来选择保姆。数字民主中心执行主任杰夫·切斯特评论说，人们在未确保 AI 对人类负责的情况下，匆忙使用 AI 掌握决策权。“就像人们已经喝了数字版的果汁并认为这是治理我们生活的适当方式。”¹

AI 是否应该做出决策？在像自动驾驶汽车这样的变革性技术中，答案无疑是“是”。如果人类必须留在方向盘后面来做出或确认驾驶决策，那么自动驾驶技术的目标很大程度上是未实现的。但是 Predictim 吸引的关注导致其失去了作为数据来源的 Facebook 平台的自动访问（抓取权限）。

分诊护士

在许多基础应用的统计学和机器学习中，预测人工智能的适当角色不是作为机器医生提供诊断和治疗，而是作为分诊护士的角色。

在 1790 年代，一位法国军事外科医生建立了一种系统分类军事伤亡的方法，称为分诊（来自法语trier，意为“分离”）。那些需要立即治疗并且受益良多的人优先级最高。那些情况不那么紧急的人，以及情况非常严重以至于治疗无望的人，优先级较低。

奥巴马总统曾这样描述总统决策的持续强度：“只有那些艰难的决策才会落到我的桌子上。因为，如果那些决策容易，那么早在层级中的下层人员就已经做出了。”²

这正是机器学习和人工智能应该引领我们的方向：不是剥夺我们所有决策工作，甚至是重要的决策工作，而只是简单和例行的决策。

记录的排序

就像护士一样，预测模型进行分诊，根据记录被感兴趣的概率对记录进行排名，并允许人类对一组非常有限的记录做出决定。分类可以通过两种方式进行。考虑对纳税申报表的审查，税务机构每年有能力对一定数量的申报表进行审计。统计或机器学习预测算法根据需要进行审计的概率对申报表进行排序，然后可能发生以下两种情况之一：

那些得分高到足以引起关注的结果，需要人类来决定是否转交进行审核。
得分最高的申报表会自动转交进行审计，然后人类审查得分较低的申报表，决定是否将其转交进行审计。

模型的目标是排名，而不是二元预测，这在评估预测模型性能时具有重要意义。准确率（正确分类的记录百分比）可能不合适——特别是当感兴趣的记录的百分比很低时。在这种“罕见情况”下，模型可以通过将每个人分类为主导类别来获得高准确率分数。

一种常见的度量标准是“曲线下面积”，或 AUC。所讨论的曲线是接收者操作特征（ROC）曲线。该曲线下的面积是衡量模型在两类记录之间区分能力的指标——“1”表示完美区分，“0.5”表示不比随机猜测好。

ROC 曲线是模型在整个数据集上的性能衡量标准。通常，人们更关心模型在较小子集（特别是排名靠前的记录）上的表现。例如，模型在排名前 10%最有可能是欺诈性的税务申报中表现如何？

为此，建模者使用提升的概念，这是从模型中获得的累积或分段改进，而不是随机选择感兴趣的记录。例如，在排名前 10%中的提升达到 100%意味着，与随机选择相比，您在模型排名前十分之一中找到感兴趣的记录的可能性是两倍。提升源自预测建模的早期阶段，用于直接邮件营销。直接邮件营销者通常面临低响应率，并且需要一种工具，使他们能够仅选择最有可能响应的人。

数据科学中的伦理

AI 在接管基于信息的例行和重复性任务中的角色，有可能通过分诊而非完全自动化决策来丰富工作生活。随着经济对人类创造力的释放而调整，工作将转向更具挑战性和有趣的岗位，其供应量将增加。亚马逊的所有者杰夫·贝索斯在解释为什么他不担心 AI 夺走工作时提到了这一点。

在这种情况下，唯一的潜在地雷是由于人类对赚钱的天性而引发的。Predictim 知道在评估保姆的风险得分时是不完美的。但它也知道，家长们无法权衡统计估计的细微差别；他们只有一个单一的分数。Predictim 还知道，围绕 AI 的神秘性有助于销售产品，而这甚至不需要过度宣传。

道德数据科学家会给这样的产品添加充分的警告，以防止被误用。或者干脆不出售这样的产品。商业数据科学家则推出保姆评分，用人工智能的神秘感来包装。如果消费者赋予其比实际更多的含义，那么……买方自负。

¹ 引用自德鲁·哈威尔（Drew Harwell）的文章，“寻找：‘完美的保姆’。必须通过 AI 扫描测试尊重和态度”，《华盛顿邮报》，2018 年 11 月 23 日，https://oreil.ly/AWC7q。

² 巴拉克·奥巴马（Barack Obama），史蒂夫·克罗夫特（Steve Kroft）采访，“60 Minutes”，CBS，2009 年 3 月 22 日，https://oreil.ly/9wo_e。

第五十一章：算法误分类——（相当）好的、坏的和丑陋的

阿诺比奥·莫雷利克斯

创新主管，Startup Genome

数据科学家驻地，Inc. Magazine

每天，我们建立的系统不断地对人们的身份和行为进行分类。信用卡交易被标记为“欺诈”或者不是。“政治活动”为他们的候选人决定“可能的选民”。人们通过验证码声称并且被判断为“非机器人”的身份。加上电子邮件的分类，手机上的人脸识别和定向广告，甚至只是一个人每天就可以想象到成千上万次这样的分类实例。

大多数情况下，这些分类对用户和运行它们的组织来说都是方便的和相当不错的。我们大多数时候会忘记它们，除非它们显然错误。

我是居住在美国的拉丁裔，经常收到用西班牙语发布的广告——这本来是相当好的定位，但我是巴西拉丁裔，我的母语是葡萄牙语，而不是西班牙语。

这种特定的误分类对我没有造成真正的伤害。我的在线行为可能看起来与居住在美国的西班牙语母语者相似，像我这样的用户接收到的误定位广告可能只是算法的“舍入误差”。尽管没有人希望我接收到这些广告——我浪费了我的时间，公司浪费了金钱——但定位可能是“足够好的”。

这种“够用就行”的心态是数据科学中许多预测应用的核心。作为一个领域，我们不断地将人们分类以做出关于他们的决策，尽管我们不可避免地知道预测不会完美无缺。“相当不错”在大多数时候都还好——这通常对于广告定位来说是可以接受的。

但是这些自动分类很快可以从相当不错变成糟糕到丑陋——无论是因为规模的部署还是因为有污染的数据。当我们进入超过它们可以被认为已经完美的更高风险领域——如社交媒体和在线广告——我们会遇到问题。

以心理测量测试为例。公司越来越多地使用它们来筛选求职者。其中一些公司报告了良好的结果，表现更高，流失率更低。¹ 问题在于，尽管这些测试可能相当不错，但它们远非完美。智商测试，心理测评的一种流行组成部分，是跨多个不同任务的认知表现的差预测器——尽管它确实与其中一些任务的表现相关。²

当一个公司淘汰一个本来表现良好的候选人时，单独来看可能不是一个大问题。但当这些测试被大规模使用时，一个求职者在本应表现良好的工作中一再被排除可能就成了一个大问题。虽然单个私人行为者使用这些测试可能基于提高招聘效率，但当我们看到这些测试被用于私人和公共决策的大规模应用时（例如，对学生进行测试），我们应该停下来思考。

“相当不错”的分类存在的问题也来自于预测的盲点，以及有问题的数据。在西雅图的几个索马里市场无法接受食品券，是因为联邦政府认为他们的交易看起来有很多欺诈性质——很多交易都是不经常的，金额很大，一个接一个。但这种算法上可疑的模式有一个完全合理的解释：这是由于市场服务的社区中的许多家庭每月只购物一次，通常共用一辆车。 USDA 后来撤销了拒绝给这些索马里食品店顾客发放食品券的决定，尽管在此期间索马里杂货店顾客们经历了长达四个月的麻烦。³

同样，佛罗里达州的非裔美国选民由于其姓名更容易与重罪犯的姓名自动匹配，导致被剥夺选举权的比例偏高。这仅仅是因为非裔美国人在常见姓氏中所占比例偏高（这是由于原始姓名由于奴隶制度而被剥夺的遗留问题）。⁴ 同样在佛罗里达州，黑人犯罪被告更有可能被算法分类为“高风险”再犯者，而在那些没有再犯的被告中，黑人被标记为高风险的比例是白人的两倍多。⁵

在所有这些情况中，并不一定有恶意意图的证据。结果可以通过“相当不错”的预测和反映先前歧视模式的数据混合来解释，即使设计和应用算法的人没有歧视的意图。

尽管我在这里提到的例子在技术复杂性上有广泛的范围，但没有强有力的理由认为最复杂的技术能够解决这些问题。即使是最新的深度学习技术也擅长于识别相对表面的相关性，而不是深层模式或因果路径。⁶

算法分类爆炸的关键问题在于，我们无可避免地在“相当不错”的算法周围设计生活。对于广告定位来说，“相当不错”可能是一个很好的结果。但当我们将分类算法大规模应用于从选民注册排除到招聘或贷款决策等应用时，最终结果可能会非常糟糕。

通往地狱的路是用“相当不错”的意图铺成的。

¹ Lauren Weber，“今日人格测试提升了求职者的门槛”，《华尔街日报》，2015 年 4 月 14 日，https://oreil.ly/3kxOL。

² Adam Hampshire, Roger R. Highfield, Beth L. Parkin, and Adrian M. Owen，“人类智能的分析”，《神经元》76 卷 6 期（2012 年 12 月）：1225–37，https://oreil.ly/Dd5M1。

³ Florangela Davila，“美国农业部取消三家索马里市场接受联邦食品券资格”，《西雅图时报》，2002 年 4 月 10 日，https://oreil.ly/MBHwj；D. Parvaz，“美国农业部改口，给予索马里杂货店解脱”，《西雅图邮报》，2002 年 7 月 16 日，https://oreil.ly/jOneZ。

⁴ Guy Stuart，“数据库、重罪犯和选举：2000 年总统选举中佛罗里达重罪犯排除名单中的错误与偏见”，哈佛大学，教师研究工作论文系列。

⁵ Sam Corbett-Davies, Emma Pierson, Avi Feller, Sharad Goel, and Aziz Huq，“算法决策与公平的代价”，康奈尔大学计算机与社会，最后修改于 2017 年 6 月 10 日，https://arxiv.org/abs/1701.08230。

⁶ Gary Marcus，“深度学习：一种批判性评估”，康奈尔大学人工智能，2018 年 1 月 2 日，https://arxiv.org/abs/1801.00631。

第五十二章：数据科学的黄金法则

Kris Hunt

合伙人兼联合创始人，Hard Right Solutions

如今，无数的数据点捕捉到我们所有个人的购买行为、浏览历史、驾驶路线、联系信息、指纹、学术记录、法律事务、房屋/车辆购买、医疗历史等等。对于很少或根本没有接触过分析或数据库的人们来说，也许会认为鉴于最近数据泄露引起的愤怒，有控制措施保护这些数据。事实上，真正需要的保护措施非常少。

美国有两项显著的联邦数据法律：

在财务数据合规领域，《萨班斯-奥克斯法案》（SOX）于 2002 年是一项为上市公司设立的联邦法律，旨在制定全面的审计和财务监管规定。立法者创立此法案是为了帮助保护股东、员工和公众免受会计错误和欺诈财务行为的伤害。
在医疗数据保密领域，1996 年《健康保险可移植性和责任法案》（HIPAA）为保护医疗信息提供了数据隐私和安全条款。

当涉及其他敏感数据如信用卡信息时，并没有联邦或州法律规定在办公室存储此信息是非法的；但这样做可能会使您与信用卡公司产生矛盾。那么关于您的其他类型信息是如何保护的呢？答案是大多数情况下，决定权在于个别公司及其自我实施的政策。大多数公司希望保护自己的数据，预防恶意攻击，并确保保密信息安全，以免遭到诉讼；也就是说，诉讼是主要的威慑因素。

如此多数据及访问此数据的人员所创建的不明显或灰色漏洞区域，包括可能产生意想不到后果的决策。我们正处于一个大多数人的生活细节都保存在他们的电脑、手机及他们曾使用他们的凭证与每一个交易数据库交互的时代。

以下是一些例子，说明了从各种数据/信息源获取的洞察类型，其中一些具有深远的影响：

人们查找潜在恋爱对象的财务或联系信息。
信用卡公司和零售商比较数据，以确定有多少客户同时在竞争对手处购物。
人们通过审查社交媒体来评判一个人并作出专业和个人的决定。
通过追踪零售商和汽车租赁机构的交易历史、ATM 的摄像头录像、遗留在犯罪现场的 DNA 等来识别嫌疑人。许多电视节目描绘了这一情景。
比较一个人的处方与他们的杂货物品。这是一个棘手的问题，因为它涉及到一些医疗保险账户可移植性法案（HIPAA）的含义；然而，这些数据通常存储在同一个数据库中，可能会得出一些有趣的结论：
- 购买大量含糖产品的糖尿病患者，正在服用与食物互动的某些药物的人，以及怀孕期间购买香烟和酒精的人可能会遇到一些医疗并发症。杂货店员工或终端应该警告他们的不良决定吗？如果保险公司获得这些信息并开始拒绝理赔，又会如何？
- 一家公司正在考虑一些潜在的新员工。公司的招聘经理可以审查申请人的医疗历史、购买彩票的记录或经常购买的杂货物品吗？
通过使用客户的购买和购物数据以及他们的偏好，优化营销工作，为客户提供“更好”和“更有价值”的体验，增强客户忠诚度。
使用数据确定关闭哪些位置、最适合支持新企业的区域、裁减员工、停止/推出哪些产品、设定最大利润价格以及哪些客户应该获得更好的优惠或服务。
使用现成的信息和图片创建虚假账户或社交资料，以获取贷款、盗取身份、诽谤某人、恶作剧、传播仇恨或欺骗寂寞的人。

分析师是否将他人的数据对待如同他们希望自己的数据被对待？在人们相信“假新闻”或直接接受事实的时代，数据科学家是否适合成为数据守门人？这些是引人入胜的问题，因为任何形式的数据泄露都可能摧毁人们的生活并破坏公司。

分析伦理是一个滑动的尺度，个人感觉舒适分享的详细程度也是如此。个人和公司需要警惕保护他们控制和访问的数据。我希望每个人都能遵循黄金法则，即以希望自己的数据被对待的方式对待数据；然而，这并非总是现实的。

第五十三章：因果性和机器学习中的公平意识

斯科特·拉德克利夫

商业分析硕士项目董事总经理

埃默里大学

处理机器学习模型中的公平性和偏见已经成为不可选的命题。然而，部署学习模型的竞争已经超过了检测和系统避免偏见的标准和方法的发展。这种情况在某种程度上是因为机器学习实践通常不关注因果关系，而是基于观察标准。焦点是预测、分类和识别。观察标准基本上无法确定预测因子是否存在未解决的歧视。

在社会科学和医学领域的长期数据分析历史表明，公平性应该从因果关系的视角进行研究。为了关注公平性，特别强调了支持所有因果推断的假设、用于制定这些假设的语言、所有因果和反事实主张的条件性质以及已开发用于评估此类主张的方法。

什么是“因果模型”？维基百科提供了一个有用的定义。因果模型（或结构性因果模型）是描述系统因果机制的概念模型。因果模型可以通过提供清晰的规则来改进研究设计，以决定哪些独立变量需要被包含/控制。

它们可以通过现有的观察数据回答一些问题，而无需进行类似随机对照试验的干预研究。某些干预研究由于伦理或实际原因而不适当，这意味着在没有因果模型的情况下，某些假设无法得到验证。

因果模型是可证伪的——这意味着如果它们与数据不符合，则必须被拒绝为无效。它们还必须对打算解释的现象非常可信。

数据科学和机器学习实践必须包括对因果推理的理解和培训是至关重要的。Judea Pearl 是加州大学洛杉矶分校计算机科学教授和认知系统实验室主任，他是将因果关系建立为统计和数学概念的先驱。Pearl 是 2018 年著作《为什么：因果关系的新科学》（基础书籍出版）的作者。

《为什么之书》的核心隐喻是作者称之为“因果推理梯子”的三个升级阶段。最低的阶段仅仅涉及观察，基本上是寻找过去行为的规律性。珍珠将“当今学习机器”明确置于第一阶段。“尽管计算能力的爆炸和可接触的深度数据集产生了许多令人惊讶和重要的结果，但机制仍然“基本上是统计学家试图将一条线拟合到一组点的方式。”

因果推理梯子的第二阶段从看到行动转变。也就是说，它从询问发生了什么转变为基于可能干预的结果会发生什么。珍珠指出，“许多科学家对于了解统计学所学方法无法足以表达，更不用说回答‘如果我们将价格翻倍会发生什么’这样简单的问题感到心碎。” 《为什么之书》详细解释了在实验缺失的情况下，模型单独如何回答此类问题的历史和详细说明。

梯子的第三个和顶部阶段涉及反事实问题，例如：如果采取了不同的路径，世界会是什么样子？这些问题“是道德行为以及科学思想的基石。”回顾过去并想象可能会发生的事情，决定了我们对成功和失败，对与错的判断。

机器学习在这个梯子上处于何位置？从胸部放射学的最先进诊断成就到超越人类水平的游戏技能，如围棋和 Dota 2，展示了深度学习的力量和现实世界的实用性。尽管如此，有时候这些方法被傲慢地描述为简单的“曲线拟合”。可以说，这些方法涉及学习由神经网络架构定义的高度复杂函数，用于将输入 X 连接到输出 Y。对于一个游戏代理，X 是游戏的观察状态（棋盘位置，玩家健康等），而 Y 是随后的动作或计划。如珍珠所言，“只要我们的系统优化观察数据的某种特性，无论多么高尚或复杂，同时不引用数据之外的世界，我们回到了层次结构的第一级别，具有这个级别所带来的所有限制。”因此，我们发现 AI/ML 处于珍珠因果推理梯子的第一阶段。

那么为什么 AI/ML 实践不能更快地向上移动梯子？面对数据科学家和机器学习工程师对因果关系感兴趣的挑战之一是，大多数关于此主题的资源都是针对统计学家或经济学家的需求，而不是数据科学家和机器学习工程师的需求。弥合这一差距代表了一个重大机会，可以在 AI/ML 技术的快速进步中推动公平意识的提升。

第五十四章：街头和购物中心的面部识别

Brendan Tierney

首席顾问，Oralytics

过去几年来，大多数深度学习的例子都涉及图像或物体识别。典型的例子包括检查图片以识别猫或狗，一些著名人物等等。

但如果同样的技术用来监视人们的日常生活怎么办？如果图片或视频捕捉到你在街上行走或在购物中心周围，或者在上班或开会的路上怎么办？这些图片和视频已经在你不知情的情况下被拍摄了。

这引发了广泛的伦理关切。部署这类解决方案在公共领域存在伦理问题，但在这些项目上工作的数据科学家和其他人也存在伦理顾虑。记住：我们可以做某事并不意味着我们应该这样做。人们需要决定，如果他们正在从事这类项目，他们是否应该从事这类项目，如果不应该，他们可以做什么。

伦理是基于对对错观念的行为准则。伦理原则通常关注公平、尊重、责任、诚信、质量、透明度和信任等理念。有很多理念，但我们都需要考虑什么是对的，什么是错的。但是，在一个实验环境中，一个有趣的项目一旦部署，就会引发伦理关注的灰色地带、边缘情景呢？

这里有一些可能处于对与错之间的灰色空间的例子。（它们可能更向错误方向倾斜，因为大多数人并不知道他们的形象正在被捕捉和使用，而且不仅仅是在捕捉时用于特定目的：他们的图像被长期存储以便构建更好的机器学习模型。）

想象一下，当你走在街上时，前面有一个数字显示屏在监视你和周围的人。然后，这个数字显示屏会呈现针对你个人的定制广告。这种经典的例子出现在电影《少数派报告》中。但这已不再是科幻，它正在欧洲的购物中心发生。这些数字广告屏幕正在监视人们，识别他们的个人特征，然后根据人们的性别、年龄、面部毛发、眼镜、感知心情、参与度、注意力时间、群体大小等信息来定制广告，以便：

优化

在正确的时间向正确的受众传递适当的广告

可视化

使用凝视识别来触发创意或互动体验

启用增强现实

使用高清摄像头创建增强现实镜像或窗口效果，通过最新技术实现深度消费者参与

分析

理解品牌的受众并进行后期活动分析和创意测试。

许多公司已经开发出监控行人的解决方案。有些公司将其提升到另一个水平，能够识别你穿着的服装品牌。想象一下，如果你能将这种个人监控与基于位置的服务结合起来。例如，你正在走在街上，有人接近你并试图通过提供特定折扣引诱你进入特定的商店。但你和朋友在一起，商店对他们不感兴趣。商店正在使用视频监控，捕捉每个行人经过的细节。视频利用深度学习分析你的个人资料和你穿着的品牌。商店派出一组人员停下来与特定的个体互动，只因为他们符合该店的品牌或兴趣。根据你穿的品牌，他们可能会为你提供定制的折扣。

你对这个问题有多舒服？你现在购物的感觉如何？

对于数据科学家来说，这可能是一个伦理困境。你可能曾在实验室或试验环境中开展过一项有趣的项目。真正的挑战是当这项工作被带出实验室并为商业利益所用时。你的伦理责任涉及查看项目部署及其影响的各个方面。我们很容易理解为什么零售店对这些技术感兴趣，但作为数据科学家，我们需要考虑将技术应用于这些项目的伦理，以及我们作为人类是否愿意我们的工作以这种方式被使用。

第五部分：确保透明度与监控

很少有话题像透明度一样受到激烈的辩论。具体来说，在构建和部署分析与数据科学流程时需要多少透明度？即使这些流程已经部署，持续的监控也是必要的，以确保它们按预期运行。本节提供了如何处理这些关键问题的观点。

第五十五章：AI 的负责任设计和使用：管理安全性、风险和透明度

Pamela Passman

副主席，Ethisphere

CEO，负责任企业与贸易中心（CREATe.org）

AI 正对全球市场和商业实践产生日益增长的影响。而其潜力更是巨大。IDC 在 2019 年 9 月发现，“到 2023 年，AI 系统的支出将达到 979 亿美元，是 2019 年 375 亿美元的两倍多”。根据麦肯锡全球研究所的数据，到 2030 年，AI 可能会为全球经济增加额外的产出达到 13 万亿美元。

然而，尽管 AI 释放出业务潜力和更广泛的社会效益，但其使用也可能导致一系列不受欢迎且有时严重的后果。这些考虑因素已经催生了不少于32 个不同的行业、非政府组织和政府 AI 伦理准则，这些准则详述了组织应采取的步骤，以开发、实施和使用符合社会价值并管理风险的 AI 技术。

许多有远见的公司——其中一些公司有处理 AI 意外后果的第一手经验——也制定了自己的 AI 伦理准则。虽然这些准则可能有很大不同，但已经确定了九项共同的责任（已被确认）。这些责任可以分为三组：负责任的设计和使用、合法使用和伦理使用。在这里，我们重点关注第一组，负责任的设计和使用，它涵盖了 AI 安全、安全性、风险管理和透明度。

安全和安全性

媒体偶尔会报道一些引人注目的 AI 事件，比如涉及自动驾驶汽车的事故。这种报道反映了消费者和企业的广泛关切，从而巩固了 AI 需以安全和可靠的方式开发、实施和使用的必要性。

对公司而言，这意味着全面管理 AI 的安全性和安全性影响，使组织所有相关部门超越技术参与进来。这种跨功能的机构方法使公司能够高效、有效地拥抱 AI 的力量和责任，同时避免意外风险和伤害。

例如，作为人工智能早期采用者之一，微软在其负责任人工智能原则中直接涉及安全和安全考虑。通过要求“人工智能系统在正常和意外情况下都应可靠且安全运行”，微软承诺其人工智能系统将按照最初设计的方式运行，安全应对意外情况，并抵抗有害操纵。因此，对人工智能系统的初步和持续测试、维护和保护至关重要。而人类判断力仍然是识别人工智能系统潜在盲点和偏见的关键，并确定何时、如何以及多长时间使用人工智能系统的重要因素。

持续风险管理

鉴于人工智能技术的相对新出现和使用，似乎还没有多少公司对人工智能风险和风险管理进行了深入的机构化审视。因此，对公司来说至关重要的是认识到，尽管人工智能可能带来的潜在风险无法完全消除，但可以并且应该预见、评估和管理这些风险，以符合其预期影响的程度。

麦肯锡分析《面对人工智能风险》指出，“很少有领导人有机会磨练自己对社会、组织和个人人工智能风险的整体认识。”因此，领导们往往忽视潜在的危险（‘我们没有在像自动驾驶车辆等可能“爆炸”的领域使用人工智能’），或者过高估计组织的风险缓解能力（‘我们长期以来一直在进行分析，所以我们已经有了正确的控制措施，并且我们的做法与同行业相符’）。领导们还经常将人工智能风险与由 IT 和分析专家负责的其他风险混为一谈（‘我信任我的技术团队；他们正在尽一切可能保护我们的客户和公司’）。

许多公司已经在其组织中使用企业风险管理（ERM）方法识别 > 评估 > 管理来处理其他类型的风险。因此，在整体 ERM 框架内评估和管理新出现的人工智能风险是合乎逻辑的。

随着我们的网络日益互联，将人工智能风险管理实践扩展到公司的第三方也是合乎逻辑的。无论是供应商、客户还是其他业务伙伴，都不应忽视这些第三方可能出现的关键人工智能风险管理。Telefónica 通过合同约定保留权利，持续验证其第三方供应商 AI 产品的逻辑和数据使用披露的真实性，从而阐明了这一原则。

透明度

随着人工智能系统的扩展和发展，以及由于使用人工智能带来的更多风险的出现，消费者和企业开始要求更多关于其使用的基于人工智能的产品和服务的透明度。研究显示，消费者对人工智能的感受存在分歧：仅有 35%的人表示他们对企业使用人工智能与他们进行交互感到舒适，28%的人表示他们对此感到不舒服，而最大的群体——37%的人表示他们还不知道。

这有助于解释为什么大多数行业、非政府组织、政府以及公司人工智能伦理准则都包括对人工智能开发、实施和使用各个方面透明性的要求。例如，IBM 的《人工智能信任和透明原则》要求，如果人工智能用于做出重要决策，必须能够解释其决策过程：“技术公司必须清楚地说明是谁训练了他们的人工智能系统，使用了哪些数据进行了训练，最重要的是，他们的算法推荐的依据是什么。”

作为其特定的人工智能透明原则的一部分，IBM 已经承诺在何时以及出于何种目的应用人工智能时进行明确说明，其人工智能系统使用的数据和训练方法，其持续测试和改进的承诺，以及其保护客户数据的措施，以及支持确保人们能够理解人工智能系统是如何得出结论或建议的。

结论

人工智能的进一步扩展是不可避免的。尽管许多消费者仍然对人工智能心存恐惧，但对负责任人工智能的新需求为企业提供了一个重大机遇，可以以符合客户期望的方式开发和解释其人工智能计划。

通过专注于安全性和保障、管理风险以及保持人工智能透明和负责任披露，企业不仅能赢得客户的信任，还能以难以想象的方式改善业务和社会。

第五十六章：公然歧视性的算法

埃里克·西格尔

创始人，预测分析世界

想象一下，你坐在一个正在接受工作、贷款或假释评估的人的对面。当他们问到决策过程是如何运作的，你告诉他们：“其中一件事是，我们的算法因为你是黑人而将你的分数降低了七分。”

我们正朝着这个方向前进。杰出的专家们现在正在为执法和其他领域的歧视性算法进行宣传。他们认为，计算机应该被授权直接基于种族和其他受保护群体做出改变生活的决策。这将意味着计算机可以明确因为黑人而惩罚黑人的被告。

在大多数情况下，数据科学家故意设计算法，使其对受保护群体保持盲目。这是通过禁止预测模型输入这些因素来实现的。这样做并不会消除机器偏见，这种众所周知的现象，其中模型通过“替代”变量（在我在本书的第七部分中讨论的文章，“在预测执法中抗击偏见，正义不能是色盲”）错误地标记一个群体多于另一个群体）。但抑制此类模型输入是一个基本的第一步，若没有它，模型就是歧视性的。

我使用“歧视性”一词是指部分基于受保护群体的决策，例如通过种族或宗教进行剖析以确定警察搜查的情况。当决策旨在使受保护群体受益时，例如为了平权行动，或确定某人是否符合指定少数群体的补助资格时，则存在例外。

歧视性算法恰恰符合不平等的定义。例如，在通知预审释放、假释和判决决策时，模型计算未来犯罪定罪的概率。如果数据将种族与定罪联系起来——显示黑人被告的定罪次数多于白人被告——那么生成的模型会因为黑人的肤色而惩罚每个黑人的分数。这不可能有比将黑色犯罪化更公然的案例了。

支持歧视性政策和决策为歧视性算法铺平了道路。三十六％的美国人支持基于宗教的政策，禁止穆斯林进入美国。美国禁止跨性别人士服役于军队。四分之三的美国人支持基于种族部分增加机场安全检查，25％的美国人支持警方使用种族 profiling。拥有“白人听起来的名字”的简历收到的回复比拥有“非裔美国人听起来的名字”的简历多 50％。¹

支持歧视性算法的专家表示了一种新兴威胁。一篇与斯坦福大学助理教授 Sharad Goel 共同撰写的论文批评了算法不应该歧视的标准。该论文建议在“受保护的特征增加预测价值时”采用歧视性模型。在一堂讲座中，这位教授说：“我们可以假装我们没有这些信息，但事实上我们有... 把种族包含在你的算法中实际上是件好事。”

宾夕法尼亚大学犯罪学教授 Richard Berk——曾被假释部门委托构建预测模型——还呼吁基于种族进行预测，在一篇关于应用机器学习预测哪些罪犯会杀人或被杀的论文中。Berk 写道：“可以采用最佳模型，这些数据恰好包括种族作为预测因子。这是最技术上合理的立场。”

数据促使这些专家支持歧视性算法。对他们来说，这是一种偏见的理由。就像数据在说：“要种族歧视一样。”

但是，“服从”数据并生成歧视性算法违反了公平和公民权利的最基本概念。即使我的群体确实犯更多的罪，也会侵犯我的权利，让我为他人负责，让我的分类对我不利。

歧视性计算机造成的破坏比实施歧视政策的人类更为严重。一旦作为算法晶化，歧视过程将自动执行，冷酷地在更广泛的范围内影响更多的人群。形式化和机械化地部署，它具有具体和被接受的地位。它成为了系统的一部分。比起任何人类，计算机更像是“那个人”。

所以，需要更多数据。就像我们人类决策者在考虑职位候选人或犯罪嫌疑人时会努力尽可能超越种族因素一样，进行类似的努力——在更大的范围内扩展数据库，将使我们的计算机也能超越歧视。抵制投资这一努力将表明愿意妥协本国的自由，这些自由正是我们通过执法和移民政策来保护的。

¹ 本文中许多具体内容的参考资料可以在 Eric Siegel 的《当机器和数据促进公然歧视时》一文中找到，旧金山纪事报，2018 年 9 月 21 日，https://oreil.ly/8YzGp。

第五十七章：伦理与无花果：为什么数据科学家不能走捷径

詹妮弗·刘易斯·普里斯特利

亚特兰大州立大学分析与数据科学研究所副院长兼主任

我不在乎简单性在复杂性这一侧，但我会为复杂性另一侧的简单性奉献我的生命。

最高法院法官奥利弗·温德尔·霍尔姆斯小学

数据科学家应花时间反思前面的引用。

简化复杂是困难的。计算器、计算机和可下载包都是计算速度的工具，而不是计算能力的替代品。

在急于成为“数据科学家”的过程中，许多人走捷径——止步于复杂性的近侧。虽然“公民数据科学家”的概念有其存在的理由，但太多自称为数据科学家的人在数据科学领域没有接受过正规的培训，只是参加了周末的集训营。其后果不仅仅是与“数据科学家”定义相关的混乱，还成为了涉及算法偏见结果的众多伦理问题的主要来源。

注意，“算法”本身并不带有偏见；深度学习和加法一样没有“偏见”。然而，两者都受到两种偏见的影响——模型规范中固有的人类偏见以及我们选择用来构建算法的数据。

为此，道德的数据科学家在算法开发的背景下应考虑三个基本问题。

我试图解决什么问题？

许多人在逻辑上走捷径，直接采用方法而不理解数据。更糟糕的是，许多分析平台简单地允许将数据倒入“黑匣子”，同时进行多种机器学习方法，然后按分类率自动排序。这些平台——在复杂性的近侧——不需要对原始问题进行模型规范考虑。换句话说，该方法可能在计算上进行了优化——但是用于不同的问题。

我使用的数据是否代表将受到输出影响的人群？

如果用于开发和训练算法的数据来自人群的同质子集，但其结果将应用于多样化人群，则原始训练集中未包括的群体的分类准确率总是较低的。如果他们负责主要数据收集，数据科学家需要理解实验设计和抽样原则，以确保代表性。如果数据是之前收集的（更可能），数据科学家仍然有责任确保训练数据集在应用算法的人群中没有显著差异。

我能解释输入/特征的影响吗（或者如果不能，我能证明结果没有偏差吗）？

“解释权”意味着个人有权了解对其生活有直接影响的决策是如何做出的。一个常见的例子是要求放贷人能够解释信用决策。在数学术语中，这意味着 x 对 y 的影响是什么？

尽管大多数监督统计建模技术是直接可解释的，但许多机器学习技术却不是。数据科学家需要深思熟虑地考虑，如果他们无法解释开发算法所用输入如何影响人们的生活（而几乎所有算法在某种程度上都会影响到人们的生活），这是否可接受。或者，如果算法被正确规定并且输入数据已经经过偏差测试，那么放弃可解释性以支持事后解释和示例解释是否可接受？

作为一个社区，大多数数据科学家都有道德意图。然而，意图是不足的，捷径会带来后果。作为社区，数据科学家有责任通过简化复杂性来确保开发和应用社会责任算法的发展，这些算法在复杂性的近侧容易出现失误。

第五十八章：你在做出什么决定？

詹姆斯·泰勒

CEO，决策管理解决方案

数据科学是达到目的的手段，具体而言是改善决策。如果数据科学不能改善决策，它就没有价值。正如歌德所说：“知之为知之，行之方行之。”仅仅知道某事是不够的；我们必须根据它告诉我们的去行动。

从伦理角度来看，这导致一个结论：仅仅数据科学是伦理的是不够的，它还必须被伦理地使用。我们用数据科学做出的决策必须是伦理的。我们必须明确统治我们进行决策的道德原则。

确保用数据科学做出的决策具有伦理性有两个要素。我们必须设计我们的决策方法以确保其伦理性，并且我们必须能够证明我们做出的每一个具体决策都是伦理的。

设计伦理决策系统

大多数使用数据科学的决策都是重复性的。数据科学依赖于过去决策的数据，这使其专注于关于交易或消费者的高频、可重复的决策。我们应该支付这笔索赔吗？这个人能否获得信用？对这位患者来说，什么是正确的治疗方法？这个人是不是他们声称的那个人？这些日常决策是数据科学的主要用例。

因为这些决策不止一次地被做出，我们可以定义一个决策方法，每次都遵循这个方法。过去可能是通过政策和流程手册或清单来完成的。如今更可能是使用更严格的决策模型来定义，比如决策模型和符号（DMN）标准。

您可以清楚地展示数据科学在这种明确定义的决策方法中的作用。例如，您可以展示数据科学并不影响资格，而是仅用于识别欺诈风险，或者预测信用风险并不用于折扣计算。您可以定义数据科学何时对决策产生影响，何时不产生影响。例如，是否因为数据科学的结果而决定将某人提交手动审查，或者直接拒绝他们？

只有当您能清楚定义数据科学影响的决策时，您才能确保您已经定义了决策制定的伦理方法。

展示伦理决策

能够展示您在设计伦理决策方法方面是积极主动的，必须配以展示您在做出决策时应用了这样的方法的能力。仅仅展示预测欺诈不足以让某人被直接拒绝是不够的，被拒绝的人可能要求证明，或者监管机构可能要求。

自动化决策的元素必须创建记录，记录决策如何做出、执行的业务规则或决策逻辑。用户必须记录手动决策。这些日志必须与数据科学结果结合——最好还包括对这些结果的解释。特别是当决策的重要部分是自动化时，创建和存储这些日志可能是决策的副产品。

保留这些日志可以审查任何决策，以确保决策具有道德性。这些信息还支持持续改进和审查决策过程/系统/方法。决策方法如何精炼以做出更好的决策？是否存在应该咨询数据科学或其使用无益的情况？只有关于决策如何做出的数据能支持这种分析，并将机器学习转化为业务学习。

对数据科学的道德方法是必要的，但并不足够。我们还必须对我们的数据科学驱动决策过程采取道德方法。

第五十九章：伦理、交易与人工智能

约翰·鲍尔

商学院教授，慈悲学院

美国股市的形象是肾上腺素驱动的交易员在交易场地上大声喊单。这个形象已经成为了一种记忆。现在，大部分交易由电脑完成，静悄悄地，而且非常非常快速。随着机器学习和人工智能的引入，这一趋势可能会加速，逐渐取代市场中直接的人类交互。立即浮现的问题是：因为市场及其所有的规则和法规主要是为了保护投资者，这一趋势是否构成了对普通投资者的一种问题伦理环境？

市场结构的设计主要是为了保护投资者免受企业行为的侵害，而不是免受其他投资者的侵害。自证券交易委员会（SEC）成立以来，就存在着一些交易员比其他人更快的情况，SEC 似乎并未对此进行区分。技术驱动的投资并不是他们的重点。监管机构更关注的是算法交易实践提供的逐步流动性，这有利于整体市场。目前的做法似乎是不采取任何行动。在可预见的将来，这可能仍然如此。¹

普通投资者买卖股票时会受到不利影响。大多数投资者会以当前市场价格下单买入或卖出，因此他们易受市场动态影响，并为他人提供了利用的机会。例如，当市场当前的卖出价为$9.81 时，一个人会下单购买 1,000 股股票。在$9.81 的价格通常只有 100 股股票可用。一旦这个市场订单到达，算法将察觉到市价买单，然后以每股一分钱的增量提高剩余 900 股的卖出价。这将导致投资者为 1,000 股支付每股高出一到三分钱的平均价格。这个总影响可能看起来很小——在近$10,000 的交易中只有$10 到$30——但每天数十万笔交易的总影响非常显著。普通投资者全面承担负面影响，而机器驱动的交易组织获得全部正面影响。这只是一个简单的例子。

或者考虑一下最近开设的纽约证券交易所数据中心的情况，该中心允许高频交易者在数据中心内放置他们的服务器以实现更快的数据访问。最初，只有靠近纽约证券交易所服务器的机架才受到需求。光纤电缆的长度使得其他机架变得不那么吸引人。想想看，数据在光速附近多行了 20 英尺，这就产生了竞争劣势。纽约证券交易所通过使用相同长度的光纤解决了这个问题，不管服务器的位置如何。

什么导致了这种需求的提升？交易方法。简单来说，计算机算法通过发布订单来持续测试市场，寻找市场的非效率。它们在当前市场附近发布订单（买入或卖出或两者）。如果它们完成了一笔交易，那是因为市场朝向它们移动，并且通常会回归，从而为它们带来利润。如果没有，它们就会取消订单。这会产生对市场深度的虚假印象，并可能导致价格操纵或先行交易订单（这两者都是非法的，但 remarkably hard to police）。²

如果我们能利用人工智能的力量来解决这种不对称问题呢？真正的伦理困境是，当人类与机器互动时，他们无法竞争。假设我们进化到一个所有交易都由人工智能技术驱动的市场。在这种情况下，人工智能机器将查看其掌握的所有信息来做出决策。在这种情况下，市场中的理性程度增加，因为那些不理性的参与者——人类——没有参与。在这种情况下，市场中的信息不对称程度将大大降低，几乎不存在不对称。³

障碍在于人类不知道 AI 系统如何做出决策。随着可解释 AI 的出现（见下图，比较今天的 AI 与可解释 AI⁴），这个障碍开始被清除，使投资者能够利用（可能是他们一生中第一次）符合他们自己价值观的投资策略，促进道德更加健全的市场，并消除大多数不良行为的机会。帮助机器了解你、你的目标和约束，并允许它指导你与金融市场的互动。

¹ “5 Ways AI Is Transforming the Finance Industry,” Marutitech, 2018 年 12 月 25 日, https://oreil.ly/A8DVK.

² Sam Stanton-Cook, Ryan Sparks, Dan O’Riordan, and Rob Hodgkinson，《技术白皮书：有效监控算法和高频交易（第 18 版）》，Kx.com，2014 年 2 月 8 日，https://oreil.ly/jQGs3。

³ Viktor Ivanitskiy 和 Vasily Tatyannikov，《金融市场中的信息不对称：挑战与威胁》，《地区经济》（俄罗斯科学院乌拉尔分部经济研究所经济安全中心），第 1 卷，第 4 期（2018）：1156–67。

⁴ Matt Turek，《可解释人工智能（XAI）》，国防高级研究计划局（DARPA），2019 年 9 月 10 日检索自 https://oreil.ly/--C81。

第六十章：伦理系统的之前、现在和之后

Evan Stubbs

波士顿咨询集团的合伙人兼副总监

利用数据驱动人工智能的闭环系统有能力改变世界。这些系统已经在拯救生命、分配资本、执行合同，并代表其人类主人做出越来越多的决策。作为未来的设计师，行使这种权力以使世界变得更好而非更坏，需要尊重和考虑。就像隐私或安全性一样，这些系统中的伦理问题不能被视为一种附带。从概念到执行以及更远的未来，伦理必须作为设计的一个整体部分来对待。

在非常实际的意义上，每个工程师的旅程中有三个时间点，糟糕的选择可能导致逆向结果：之前，现在和之后。

以下所有例子都是真实的，尽管为了保护有罪之人，姓名已被隐去。

在之前的时刻，天穹尚未建立。在这里，尽管有最好的意图，最大的风险是无意中导致个人或社会的伤害；算法是基于数据训练的，如果这些数据反映出制度性劣势，未来将不得不反映现在。

想象一个有意向使用 AI 识别和加速其员工中高绩效者的公司。为了训练其算法，它获取人力资源数据并训练模型来区分成功者和失败者。然而，通过这样做，它无意中创造了一个风险，将性别歧视制度化到公司的运营模式中。

让我们假设公司不是性别歧视的，也不是故意采用性别歧视的治理框架；我们是怎么到这里的呢？

即使公司的管理团队一直试图基于功绩来提升，但历史上男性主导的研究领域已经导致几十年来招聘男性毕业生存在代际偏见。算法使用的数据从根本上是受到污染的；即使模型没有明确将性别作为预测因素，性别很可能与男性行为有历史上的相关性，如较少可能休产假。

逆向结果是，一个准确的模型可能存在向男性加速的固有偏见，这并不是因为男性是更好的候选人，而仅仅因为他们人数众多，因此在绝对术语上历史上更有可能得到晋升。

在之前，你需要考虑你的选择如何可能无意中破坏你试图解决的问题本身。即使是最好的意图也可能因错误的数据而无意中出错。

在现在的时刻，我们必须做出选择。我们知道我们能做到，但我们应该吗？

想象一家有意最大化利润的银行。信用卡带动利润，但只有在特定的使用方式下。消费过度会导致客户无法偿还债务，迫使银行出现违约，并造成损失。带余额不足，则银行可能只能收回卡费，利润微薄。理想的客户是“循环信用”客户，每月带有债务并支付最低余额，从而最大化银行的利息收入。

有了正确的数据，轻而易举地就能建立一个模型，识别如何最好地鼓励人们增加消费。影响行为的方法多种多样，包括忠诚度奖励、徽章和无差别使用黑暗模式。这样做可以对银行的底线产生实质性影响。然而，如果银行选择这样做，哪些人最终会陷入债务循环？

在当前时代，你需要对你的算法后果感到舒适。你的工作反映了你改变世界的能力，无论是好是坏。

在之后，一切都运作良好，希望如此。很容易认为不再需要监督了。这种信念是错误的。

想象一家有意定制内容的媒体公司。其算法擅长将内容与兴趣匹配。然而，随着时间的推移，这些算法也会创建高度封闭的信息圈。多巴胺驱动的信息消费导致整个群体只看到与其世界观一致的内容。观点变得极端化，并在没有对立观点的情况下日益极端化。最初可能是增加观众黏性的相对无害方法很容易成为社会动荡的温床，这几乎完全是由于潜在的算法，尽管无意间如此。

在之后，你需要积极监视你建立的事物，确保你没有创造一个你不愿生活的世界。你的算法就像你的孩子，它们的行为是你的责任。

第六十一章：业务现实将击败你的分析

理查德·哈卡索恩

行业分析师，Bolder Technology

新一代数据分析（通常称为AI）正在快速发展，并在日益扩展的规模上取得了令人印象深刻的推理成就。对于一些高科技公司来说，它已全球转变了它们的电子商务互动和整个市场动态。¹

典型企业的大多数高管都认为企业系统将成为下一个受益者。尽管下一代分析已经在一些领域普及，但正确使用下一代分析所需的技能和实践并不是均匀分布的。不幸的是，这种差距正在稳步扩大。²

在过去，分析仅限于生成特定业务情境的视觉洞察的自包含项目，然后管理者用这些来制定政策和程序。下一代分析正在向嵌入企业系统中的操作模块转变，直接将分析暴露于实时业务现实的复杂性之中。精通分析的高管可能过于自信，认为下一代分析工具将战胜那些令人讨厌的现实。

这些下一代分析解决方案能否在你的业务现实中生存下来？数据到行动价值链的以下关键领域对所有高管都应特别关注。³

构思

下一代分析的业务用例对于像 Google 的 TensorFlow Enterprise 这样的新基础架构来说定义起来棘手。我们正在进入实时数据流的时代，这些数据包括图像、语音和其他奇怪的物联网（IoT）数据，不再停滞在数据湖中。分析将持续转换这些数据，生成图像类别、语音转文本段落以及其他各种系统模块可以消耗的与业务相关的对象。定义这些用例需要新的技能和方法论，以及新的绩效指标。提升商业/数据分析师作为协调伙伴的角色将至关重要。⁴

开发

开发分析模型的选择已经增长了一百倍。神经网络对于数据科学家来说就像是乐高积木一样。神经结构如迁移学习、强化学习、生成对抗网络和样式迁移等每天都在扩展。要跟踪这些技术发展，需要全职注意力。五年前接受过培训的数据科学家现在已经过时，除非他们不断更新自己的技能。在数据仓储时代精心设计的 DataOps 基础设施现在必须重新设计，以不断监控训练和测试数据集，确保无偏的抽样。

部署

从手工制作逻辑的应用过渡到不断学习逻辑系统是一个重大的概念转变。管理挑战者（新的分析模型）与冠军（生产分析模型）之间的不断比拼，将推动当前的 A/B 测试方案达到新的高度。传统的系统过渡程序在下一代分析技术中显得不足够。DevOps 专业人员角色的转变类似于猎人成为农夫。不要再想今晚捕捉那只鹿来吃晚饭了。开始考虑今年秋天种植庄稼，以及未来的季节。

管理

你的下一代分析系统现在已投入生产，那么现在怎么办？深层次的挑战将开始。Paco Nathan 简洁地表达了这一点：“[分析] 模型一旦暴露于实时客户数据，就会退化。”⁵ 你精心训练的模型退化了，因为训练数据现在与实时数据不同步。今天的商业现实不同于昨天。你如何知道退化达到了显著程度？如何修正这种退化？如何防止安全漏洞欺骗你的系统？无论是向电话中的客户还是法庭陪审团解释系统的行为，你该如何做？当分析结果导致重大诽谤损害时，谁应负责？

管理分析系统需要从数据到行动的清晰衍生关系，这意味着每个由分析生成的行动都可以与其基础数据关联起来。此外，应将人类直觉和判断的适当角色编织到分析系统中，以最小化人工智能愚蠢及其意外后果。

结论

下一代分析技术存在重要的伦理影响，正如这里所概述的那样。任何涉及这些系统的高管都应对这些分析能力谦逊，以理解其业务现实的复杂变化。适度的焦虑是必要的。

¹ Amy Webb，《大九家》（纽约：PublicAffairs，2019）。这本书深入探讨了主导这项技术商业化的全球人工智能公司。

² Richard Hackathorn，“直面深度学习系统：事物的变化和我们不知道的事情有多少”，Towards Data Science，2019 年 3 月 28 日，https://oreil.ly/eLDkQ。这篇关于公司采用人工智能的 Strata 调查的总结，突出了下一代分析技术的拥有者和非拥有者的关键影响。

³ Richard Hackathorn，“在分析中找到价值”，Eckerson Group（博客），2019-2020 年，https://oreil.ly/P_ekV。这是一系列六篇博客，展开了分析价值的经济原则，并描述了组织实现这一价值的分析价值战略。

⁴ Richard Hackathorn，《商业分析中的变革与转折：来自 Qlik Qonnections 和 Alteryx Inspire 的反思》，Towards Data Science，2019 年 8 月，https://oreil.ly/0yxya。本文从最近的技术会议中反映出如何正确利用下一代分析策略。

⁵ Hackathorn，《面对深度学习系统》。请注意后面的部分“重点回顾：另一个事物”，其中 Nathan 总结了他对未来商业分析的看法。发人深省...

第六十二章：如何知道你是对的？

Majken Sander

首席分析官

当然，您努力保持中立。您比任何人都知道避免偏向结果的重要性，远离任何偏见应用，重视让数据说话的重要性。

作为一个任务解决的专业人士，您尝试选择最合适的模型并使用最佳的可用工具。

有时候，有人会问类似“我如何选择最佳回归模型？”的问题。

你很幸运。多年的经验教会了你如何选择最佳置信水平，如何知道哪些数值在预测建模中提供最高的成功率，如何最有效地进行数据清洗，以及由于数据质量差而应完全排除的记录。

数据用户的数据素养

分析接收端的人们很少了解他们所查看的数据背后的内容。他们对数学、算法和数据的深入了解兴趣不大。通常他们更愿意相信您的手艺和技能。偶尔会有人质疑结果，但很少质疑方法。

他们需要我们牵着手指引他们的道路，甚至可能有些挑战。如今，任何分析、可视化、白皮书或报告的用户都需要一定的数据素养，以理解他们所看到的内容。

宣布您的工作

我们数据专业人士如何选择使用数据的方式，首先要让其他人了解我们决定解决手头任务的见解。

我建议这样做：在每次分析的最后添加一页额外内容——一个内容声明。想象一下类似电子设备背面贴的标牌，列出制造商、电压等信息。

建议的内容：

包含的数据集及其来源
故意排除数据集的部分内容
应用的数据清洗规则
使用的分析模型，最好还附带简短说明为何认为这些是最佳选择，并提及未选择的替代方案。
根据模型的不同，描述相关设置，如参数、数值等。
使用的软件/工具，包括版本
...

考虑如何记录您分析框架，以帮助他人理解您工作的前提和质量，以及您提出的答案作为结果。

启发您的观众到足以让他们感到知情并具备足够知识问问题和表现他们对分析结果兴趣的程度。

随着时间的推移，人们可能会熟悉您的风格和偏好，谁知道呢？甚至可能会形成您处理不同任务方式的模式。这反过来为您提供洞察，用以提升您的分析边缘。

并且更加私人化地说：如果有人几个月甚至几年后问起你关于那份工作的问题，你会发现这非常有价值。事实上，你是如何选择使用哪个模型以及排除哪些记录的？

第六十三章：数据科学中管理伦理的框架：模型风险管理

Doug Hague

北卡罗来纳大学夏洛特分校数据科学学院执行董事

随着数据科学家努力理解其模型的伦理和影响，需要一个管理框架。幸运的是，从金融服务行业发展而来的模型风险管理（MRM）框架可以扩展到包括伦理。各行各业的模型（包括简历筛选器、再犯率模型和医疗支付模型）可能会对各种用户或保护组产生偏见，并导致任何使用这些模型的公司面临负面宣传。随着数据科学家开发管理偏见的方法，MRM 可以用于记录和确保遵循最佳实践。我在这里的重点是将 MRM 过程应用于模型的数学偏见；然而，MRM 框架在扩展到公平性和数据科学的整体伦理影响时也是适用的。

简单来说，MRM 是一个审查和监控模型开发和运营的过程。它包括检查数据质量、数学合理性、预测质量、适当的使用以及通过独立审查和验证进行持续监控。在这些领域中，偏见可能会影响模型的预测结果。

数据

如果数据一开始就存在偏见（大多数数据都是如此），MRM 通过管理输入数据（通过选择性采样、确保代表性数据和其他方法）来尽可能地去除偏见。虽然旧方法仍然需要去除受保护变量，但这已经不够了，因为其他相关变量可能会导致预测中再次出现偏见。

数学

在开发模型时理解数学技术的应用影响是很重要的。例如，数学需要解释为什么会得出特定的结果。解释性（特别是对于曾经被视为“黑匣子”的模型，如神经网络）在验证和生产过程中变得至关重要，以支持某些用例。

性能

在检查模型预测质量时，MRM 可以确保不仅检查整个数据集，还确保对保护子组的结果尽可能相似。这可能会降低整体性能以实现更加公正的结果。MRM 应该要求围绕这些选择进行辩论和内部透明度。需要注意的一点是：虽然在开发过程中不应使用受保护的变量，但在验证过程中应该提供这些变量，以确定性能是否存在偏见。

适当使用

MRM 的适当使用限制了在开发过程中数据和假设以外的模型重用。模型的重复使用使数据科学家更加高效；MRM 确保这种重复使用不会引起伦理上的考虑。例如，一个在亚洲开发的模型是否适用于美国，那里的不同受保护变量很重要？有时候，MRM 提出的问题和检查很容易，而有时候不是。确保提出问题并作出回答对于建立更加伦理的模型有很大帮助。

监控

在 MRM 中，监控模型性能是更重要的流程检查之一，因为模型性能会漂移。这对静态模型和频繁自动调整的模型都适用，尽管前者性能漂移，后者参数漂移。随着模型漂移，偏差往往会重新影响性能。在模型监控过程中增加偏差检查和性能检查，可以在适当的时机重新开发。

验证

对模型进行独立验证和监控是确保考虑不同利益相关者和观点的重要方式。这可以通过一个独立的报告链来完成，这在金融服务公司中很常见，或者至少通过同行评审来完成。引入外部视角可以防止狭隘视角，并提供一些初步的理解多样性。最佳做法是包括具有不同且相关生活经验的验证者。

总结

将 MRM 框架应用于其模型开发实践可以帮助公司更好地理解和减少可能导致伦理挑战的运营模型风险。在整个 MRM 过程中添加偏差检查和保证是帮助数据科学从业者开发和管理其工作中的偏差和伦理考虑的一步。

第六十四章：模型可解释性的伦理困境

Grant Fleming

数据科学家，Elder Research Inc.

数据科学的进展在很大程度上是由越来越复杂的“黑盒”模型的预测性能不断改进推动的。然而，这些预测性能的提升是以失去解释模型预测器和目标之间关系的能力为代价的，这导致了误用和公众争议。这些缺点表明可解释性实际上是一个伦理问题；数据科学家应努力实施额外的可解释性方法，以维持预测性能（模型复杂性），同时最小化其危害。

任何对“AI”或“数据科学”的学术或流行文献的检视都明显显示出对最大化预测性能的深刻重视。毕竟，最近在模型设计方面的突破以及由此带来的预测性能改进已经使模型超过了医生在检测多种医学问题方面的表现，并且超过了人类的阅读理解能力。这些突破得益于从线性模型向深度神经网络（DNN）和梯度提升树（例如 XGBoost）等黑盒模型的过渡。这些黑盒模型不再使用特征的线性变换来生成预测，而是采用复杂的非线性特征变换来产生更高保真度的预测结果。

由于其背后复杂的数学原理，这些黑盒模型扮演了神谕的角色，能够在不提供可解释的人类解释的情况下产生预测结果。尽管这些预测通常比线性模型更准确，但远离线性模型内置的可解释性可能会带来挑战。例如，无法解释模型的决策规则可能会使得用户、客户和监管机构难以建立信任，即使这些模型在其他方面设计良好且有效。

放弃模型可解释性也为科学界带来了伦理困境。通过提高我们预测世界状态的能力，黑盒模型牺牲了一部分帮助我们理解这些预测背后推理的能力。经济学、医学和心理学的整个子领域依赖于成功将线性模型解释转化为政策建议。对于这些任务来说，预测性能通常次于探索模型在其预测器和目标之间创建的关系。仅关注预测性能可能会削弱我们在这些领域的理解，甚至可能阻止本应从更透明的模型中获得的未来发现。

在公共政策和科学领域之外，放弃模型可解释性带来了更直接的挑战。在健康保健、法律系统和企业招聘流程中，错误应用的黑盒模型无意中伤害了它们本应服务的人群和组织。在这些案例中，黑盒的预测显然是不准确的；然而，鉴于模型的本质，难以在部署前调试和检测潜在问题。这些情况理所当然地引发了公众对数据科学伦理的争议，同时也引发了对算法数据收集、透明度和公平性的更强监管要求。

平衡复杂性和模型可解释性显然是一个挑战。幸运的是，有几种可解释性方法允许数据科学家在一定程度上理解复杂黑盒模型的内部运作，否则这些是无法知晓的。应用这些方法可以在保持任意黑盒模型改进的预测性能的同时，恢复部分线性模型移开时失去的可解释性。

个体解释性方法可以服务于各种功能。例如，全局解释性方法如部分依赖图（PDPs）可以提供对特征对预测影响的诊断可视化。这些图表描述了黑盒模型输入和输出特征之间的数量关系，并允许类似于线性模型系数如何使用的人类解释。像 Shapley 值这样的局部方法可以为个体预测的特定特征值的影响提供解释，通过展示模型依赖于特定特征来增加用户信任。这些方法提供的增强的洞察力也使模型调试工作变得更加简单，表明即使已经表现良好的黑盒模型也存在提升性能的机会。

道德数据科学当然不仅仅是能够解释模型的内部功能和输出。然而，为何模型可解释性应成为道德最佳实践的一部分的论据是有说服力的。将解释性方法整合到黑盒模型中的数据科学家正在提升其工作的道德尽职调查；这是保持模型可解释性的同时利用黑盒模型巨大潜力的方法。

第六十五章：使用模型无关解释找出黑盒模型中的偏见

伊亚尼斯·卡内洛普洛斯和

安德烈亚斯·梅萨拉斯

创始人，Code4Thought

数据科学家，Code4Thought

揭示“黑盒”模型的不透明性的必要性显而易见：欧盟通用数据保护条例（2018 年）的第 15 和第 22 条、OECD 人工智能原则（2019 年）以及美国参议院提出的算法问责法案等都表明，机器学习的可解释性，以及机器学习的问责性和公平性，已经（或应该）成为任何自动决策应用的一个重要特征。

由于许多组织将被迫就其自动化模型的决策提供解释，第三方机构将有巨大需求来评估可解释性，因为这为整个审计过程提供了额外的完整性和客观性。此外，一些组织（特别是初创企业）将无法应对可解释性问题，从而需要第三方审计机构。

然而，这种方法可能会引发知识产权问题，因为组织不愿透露有关其模型细节的任何信息。因此，在广泛的可解释性方法中，模型无关方法（即不涉及模型细节的方法）被认为是适合这一目的的。

除了解释黑盒模型的预测外，可解释性还能帮助我们洞察模型可能因数据中不良模式而导致的错误行为。本文将通过一个例子探讨可解释性如何帮助我们识别数据中的性别偏见，使用一种利用替代模型和 Shapley 值的模型无关方法。

我们使用信用卡客户违约数据集，其中包含关于 3 万名信用卡客户的信息（人口统计因素、信用数据、支付历史和账单报表），目标标签是他们是否在下一个付款期限（即 2005 年 10 月）违约。下图展示了按性别分开的违约和非违约银行客户；每组中左侧和中间的柱状图代表女性和男性客户的原始分布，而每组中右侧的柱状图则显示了重新构建的男性客户偏倚分布。

我们通过随机选择 957 名男性违约者（即总男性违约者的三分之一），并改变其标签来扭曲数据集。这样一来，我们就得到了一个新的偏倚数据集，其中 34%为男性违约者，66%为女性违约者，以及 41%为男性非违约者，59%为女性非违约者。

然后，我们从数据集中删除性别特征，并采用在此偏倚数据集上训练的黑盒模型的预测结果（其结构我们不关心）。然后，我们训练一个代理 XGBoost 模型，从中提取 Shapley 值，帮助我们解释原始模型的预测。更准确地说，我们使用 Shapley 值来准确定位最重要的特征，然后通过简单的自然语言句子在解释中使用它们。

我们检查了对男性客户的误判为非违约者的错误预测解释，以及对女性客户的误判为违约者的错误预测解释。他们都是未婚大学毕业生，信用额度相似。然而，男性客户延迟了最后四次付款，而女性只延迟了最近一次—请参见以下表格。

				支付状态（延迟月数）
ID	信用额度	教育程度	婚姻状况	九月
---	---	---	---	---
26664 (男性)	80,000	大学	单身	5
599 (女性)	60,000	大学	单身	2
^(a) 使用循环信贷。

对于男性客户，九月份的支付延迟对“违约”有 33%的负面影响，正如以下解释所示。然而，令人反感的是，八月份的支付延迟却有积极影响。

对于女性客户，九月份的两个月延迟也产生了负面影响，但比男性客户的五个月延迟（33%）有更大的百分比（47%）；更多细节请参见下图。

尽管在模型的训练中未包含性别特征，但我们在解释的帮助下观察到性别偏见已编码到其他特征中（例如，男性客户延迟支付对延迟的积极贡献）。此外，在观察解释中的影响百分比时，我们发现模型对女性客户的处理更加严厉（例如，较小的支付延迟造成更大的负面影响）。这种奇怪的行为应该引起我们的警觉，并激励我们获取更好的违约样本。

总之，在数据集包含真实人员的情况下，确保模型不会歧视某一群体是非常重要的。解释能够帮助我们发现即使是隐藏的偏见，也能准确指出我们黑盒模型意外的决策模式，并激励我们修正数据。

第六十六章：自动检查伦理违规

杰西·安德森

大数据研究所董事总经理

数据科学有时候喜欢很元。有推动使用机器学习模型来检查数据科学家或其他机器学习模型是否存在伦理违规的趋势。看守者正在被机器学习模型监视。

我经常被问到机器学习模型是否真的能够自动检查伦理违规。这个问题通常来自那些担心数据科学家需要运行的查询数量和总体发现的公司。随着数据民主化的推动，更多人将获得数据访问权限，这意味着更多的可能出现伦理违规。对于管理团队或总法律顾问来说，要审查每一个查询几乎是不可能的。

我认为，依靠机器学习模型来查找伦理违规是不可能的。编写机器学习模型的人与机器会监视潜在违规的人是同一个人。如果他们不是编写它的人，他们将有足够的背景知识，知道如何避免将其查询标记为伦理违规。特别是数据科学家将能够对使用的算法进行有根据的猜测，并且将知道每个算法的弱点在哪里。

尽管如此，公司对伦理违规的曝光仍然相同。必须采取行动。公司能做些什么呢？

在公司甚至尝试手动或自动检查伦理违规之前，公司需要将代码和查询集中化，以便它们被记录在一个地方。这是数据工程团队需要实施的事情。如果没有一个地方来记录所有查询和代码执行，将会有太多的临时位置可以运行检查。这将使得在某人确实下决心行事不道德时很容易绕过日志记录。

一旦所有查询和代码执行被集中，管理团队和总法律顾问可以开始寻找违规行为。通过 SQL 查询，意图和结果将相对容易进行审查。

使用代码，审查过程可能会更加困难和耗时。这是因为管理团队和总法律顾问可能不知道如何阅读代码。即使他们懂得编码，代码的意图和结果可能不会立即显现出来——代码甚至可能会被混淆以隐藏其背后的意图。此外，代码本身可能无法访问或检入源代码控制，以便可以阅读运行的确切代码。

我认为我认为唯一可行的解决方案是雇佣优秀的人员，对公司数据的使用规范进行培训，并对他们的代码和查询进行抽查。仅仅检查每一行代码显然不是现实的方法。避免代码检查的两种替代方案都不可行。一种选择是因为担心伦理问题而决定永远不将数据交给员工处理——那么，为何还要有数据战略呢？另一种选择是对员工的一切行为都默许并寄希望于最好的结果。我认为最佳选择在于两者之间的某个地方。

第六十七章：聊天机器人是否应该比人类拥有更高的道德标准？

Naomi Arcadia Kaduwela

Kavi Labs 的负责人，Kavi Global

我们看到市场上聊天机器人的爆炸性增长。AI 已经深深融入到我们日常生活的织物中。服务行业已经转向由 AI 驱动的聊天机器人来管理客户互动，提高解决问题的速度和质量，同时降低成本。千禧一代越来越倾向于与聊天机器人而不是与人类进行互动。当我们在生活中接纳聊天机器人时，评估它们在强化和延续社会偏见和刻板印象中所扮演角色至关重要。随着聊天机器人的普及，一种有趣的伦理问题浮现出来：我们是否应该对聊天机器人提出比对自己更高的道德标准？

聊天机器人的核心是由称为神经网络的深度学习算法组成的自然语言处理（NLP）模型。深度学习模型具有从杂乱数据（文本和图像）中精确映射复杂关系的能力。那么像卷积神经网络（CNNs）、循环神经网络（RNNs）和长短期记忆网络（LSTMs）这样的流行 NLP 模型在聊天机器人中做些什么呢？它们数学地定义单词之间的关系，如同训练语料库中明确或隐含定义的那样。

聊天机器人继承人类偏见的例子

已经发生过几起令人不安的 NLP 算法失误。亚马逊的秘密 AI 招聘工具显示出对女性的偏见。微软那个如今臭名昭著的聊天机器人 Tay14，在社交互动的机器学习实验中，由于接受了一系列种族歧视言论，不得不被停用。

这些故事让我们感到震惊和愤慨。我们往往责怪公司或 AI 开发者。然而，这些 NLP 模型所训练的是人类生成的数据。NLP 模型仅仅是暴露了从训练数据中学到的现有人类偏见。NLP 的失误反映了人类的黑暗面。

如何聊天机器人延续人类偏见

就像一个孩子的道德准则是由其父母和环境塑造的一样，机器学习模型从其创建者指定的人类生成的训练数据中学习。就像人类通过经验变得更加睿智一样，机器学习模型需要大量的训练语料库来学习强健且具有泛化能力的关系。正如孩子长大并传递他们的道德准则和偏见一样，机器也将通过与未来世代的互动延续它们的道德准则和偏见。不同的是，这些机器是不朽的，将在时间中超越世代。因此，我们的聊天机器人必须被置于最高的道德标准，并且必须纠正由有缺陷的人类生成的训练数据中存在的偏见。

纠正聊天机器人偏见的方法

在追求卓越的不断过程中，我们必须承认我们的过失，并寻求在未来几代中加以纠正。从 NLP 建模的角度看，存在三种偏见校正方法，帮助聊天机器人克服其训练数据中的人类偏见。

一种选择是从 NLP 模型中完全删除有偏见的概念。例如，在准备 NLP 模型时，训练语料库中的单词和短语被映射到称为词嵌入的实数向量中。从数学上讲，可以从这些向量中减去性别。然而，在性别是关键预测变量或分割变量的应用中，完全删除性别的概念可能不实际。在保留性别概念的同时消除性别刻板印象的一种替代方法是简单地删除我们不希望的性别刻板印象（例如接待员），并保留我们希望的（例如 CEO）。最后，可以通过翻转代词（即“他”和“她”）来合成生成额外的数据，以使模型不会由于训练数据中表现不足而学习到任何意外的偏见。

为何聊天机器人需要持续学习

我们看到，我们的道德准则在数千年间不断发展演变。近年来，公民权利、妇女权利和 LGBT 运动取得了进展。尽管自苏格拉底时代以来道德的核心原则并未根本改变，道德的实际应用是流动的，并且随着社会的不断发展而不断演变。如果我们把今天的偏见硬编码到永恒的机器中，我们将用过去几代人的偏见来污染未来几代人的思想，从而减缓人类道德进化的步伐。相反，我们可以利用技术手段帮助聊天机器人克服今天的人类偏见，这样它们反过来可以使人类在道德上变得更好！

第六十八章：“所有模型都是错误的。”我们该怎么办？

米洛斯拉瓦·瓦莱科娃

变革平台有限公司高级经理

机器学习将继续改变我们生活的方方面面：我们彼此交流的方式，我们学习和成长的方式，以及我们与社会互动的方式。然而，这些系统偶尔会不可避免地出现故障。

所有模型都是近似值。基本上，所有模型都是错误的，但有些是有用的。

—乔治·E·P·博克斯

换句话说：没有模型、机器学习或人工智能解决方案能始终正确。如果我们认同失败是无法避免的，那么我们的主要关注点是集中在能够有效和高效地减少对个体任何不利影响的过程和控制上。

一个机器学习治理框架必须涵盖从构思到废弃解决方案的所有阶段，并且需要：

通过设计预防解决方案问题
迅速、透明和负责任地纠正任何问题
持续改进治理框架

让我们逐个审视这些要求。

1. 预防

最大化的努力从内部保证，以确保解决方案遵守公平原则。

然而，定义公平性面临着多个挑战。不仅个体对公平的认知存在差异，而且在地理上也有广泛的观点差异。有必要建立专业机构，积极发展公平意味着什么的统一视野。通过恰当的定义和对什么构成公平解决方案的清晰界定，“公平”可能成为机器学习解决方案设计的核心元素。如果我们不是嵌入我们自己的偏见，而是通过“多样性设计”，我们可能会发现机器学习的最终影响是积极的。

任何专业机构或内部治理框架可能规定的每一项原则或规则，仍然会受到个体解释的影响。责任分离和这些原则的正式遵从流程是成功的关键。

2. 纠正

由于我们无法完全通过设计消除不利影响，因此重要的是定义透明和迅速纠正任何失败的过程，并将其作为任何产品或服务部署的核心。

任何组织文化的核心组成部分应该是 ART —— 账户、责任和透明度。 ART 应该被转化为参与机器学习解决方案开发和维护的所有个人的目标。鼓励提出与任何内部或外部应用机器学习相关的伦理问题，并应用给予举报者的同等保护。

实际上，引起伦理关注的责任不仅应由内部人员承担，还应由外部利益相关者承担，包括客户、供应商、政府等。开发机器学习解决方案的组织和专业机构都需要使所有利益相关者能够提出他们的关注。

这一过程可能类似于欧盟的 GDPR 过程，其中个人有权向公司请求信息，了解他们持有的个人信息。组织有义务在一个月内对此类请求作出回应。这段时间足以进行“伦理原则”评估，并使组织能够防止进一步对个人造成不利影响。

3. 改进

机器学习应用以及社会将继续发展。因此，公平定义和治理框架需要同时进化。因此，所有组织都应允许灵活性，以便持续审查和改进机器学习解决方案。

第六十九章：数据透明性：你不知道的可能伤害你

Janella Thomas

数据科学家，Cox Enterprises Inc.

数据透明性是伦理数据科学讨论中最重要的方面之一。数据科学中的透明性主要意味着有效地告知他人收集的数据及其使用方式。缺乏透明性可能会对业务产生意外后果，并对您的客户产生持久影响。无论您是为内部客户开发分析能力还是为外部客户提供功能，数据透明性都必须是讨论的一个重要部分。

预测分析能力非常有价值，并可以在组织成长的下一个阶段起到战略作用。在提供仅供内部使用的能力时，您的主要责任之一是告知利益相关者您使用的数据及其使用方式。然而，仅仅告知数据收集和预期使用是不够的。更重要的是进一步分析我们提供的工具可能产生的结果。预测分析的某些应用需要进行伦理分析。

例如，Target Corporation 使用预测模型来评分可能因为营销目的而怀孕的可能性。Target 的预测模型的后果导致一位父亲在他的十几岁女儿告知他之前得知她怀孕了。¹ 尽管这些类型的模型在营销分析中被广泛使用，但 Target 案例的主题对消费者特别敏感，并导致公司意外受到审查。这迅速成为需要在应用洞察之前进行伦理分析的经典案例之一。

外部客户的数据透明性的重要性已成为该领域最重要的伦理关注点之一。普通消费者逐渐意识到他们向公司提供个人数据的访问权限。对许多人来说，这种意识带来了担忧，并减少了信任。在某些情况下，消费者对允许公司使用他们的数据的成本效益分析感到满意。另一方面，许多消费者认为使用像 FaceApp 这样的应用程序的成本并不值得其收益。FaceApp 是关于普通消费者不了解其数据使用方式的更广为人知的例子之一。²

获得客户的信任非常重要。这对于维持他们对您产品或服务的持续使用至关重要。实践有效的数据透明度允许消费者有意识地同意其数据的收集和使用。这可以减轻未来可能的审查压力。分析数据透明度的最佳沟通方法必须成为开发过程的重要组成部分。并不存在“一刀切”的有效数据透明度沟通方法；每个行业都有所不同。拥有有效的数据沟通策略非常重要。

数据科学正在迅速应用于传统上未涉足的领域。这意味着所获取的新信息和见解可能需要与以往不同地使用，或者在某些情况下根本不使用。Target 和 FaceApp 向我们展示了内部和外部数据透明度同样重要。缺乏任一种透明度都可能对您的业务以及个人造成伤害。在我们继续迎接数字化进程的同时，策略和分析围绕有效的数据透明度沟通必须成为优先考虑的事项。

¹ 查尔斯·杜希格（Charles Duhigg），《公司如何了解你的秘密》，纽约时报杂志，2012 年 2 月 16 日，https://oreil.ly/RtRZL。

² 杰弗里·A·福勒（Geoffrey A. Fowler），“你下载了 FaceApp。这就是你对隐私做的事情”，华盛顿邮报，2019 年 7 月 17 日，https://oreil.ly/1UmFN。

第七十章：向算法谦卑迈进

Marc Faddoul

加州大学伯克利分校信息学院研究助理

被告 #3172 是一名未婚的 22 岁女性。她曾因大麻贩卖入狱两个月，并刚刚因与伴侣在公共场合发生激烈冲突而被捕。在审判前三个月内，被告会不会再次犯下暴力犯罪？要回答这样的问题，许多美国司法管辖区使用称为预审风险评估工具的算法系统。让我们考虑其中最常见的工具之一，公共安全评估（PSA）。

当 PSA 看到高风险时，它会引发警示，这会自动将被告送入拘留，而不再考虑法官对机器预测的挑战。风险很高，因为预审拘留通常会对被告的工作和住房安全造成毁灭性后果，包括那些在审判中后来被证明无罪的人。悲剧的是，这些毁掉生活的算法警示中，97% 实际上都是误报。² 换句话说，被标记的被告中，有 3% 实际上会在释放后犯下暴力犯罪，而其他 97% 则是不必要的拘留。这是一个惊人的糟糕表现，但也不足为奇。

预见未来犯罪是困难的，机器不是神谕。然而，它们可以提供有价值的预测线索，但前提是要有必要的智慧谦卑。遗憾的是，PSA 被设计成一种傲慢的算法。

如果被告在审判前被系统性地释放，大约有 1% 的被告会犯下暴力犯罪。通过比较这些罪犯的档案和特定被告的档案，PSA 的表现比随机猜测好三倍：它仅仅对每个检测到的罪犯关押了 33 名被告。

事实上，有限的人口统计和司法数据远远不足以预测犯罪。有关心理健康或住房稳定性的信息可能更具预测性，但也很难以公正和系统的方式收集。即便如此，仍会存在一些随机性。两个对算法看起来完全相同的人可能最终处于不同的情况，并做出不同的决定。

此外，算法无法从其错误中学习。当特定被告被拘留时，无法知道如果他们被释放是否真的会犯罪。从根本上说，预测信号很弱。因此，该算法永远无法高准确度地预测犯罪。

错误是不可避免的，但这本身并不是问题。像其他经验科学一样，数据科学可以通过进行概率预测和包括置信区间来处理不确定性。然而，PSA（Public Safety Assessment，公共安全评估）则在任意刻度上进行预测，没有显示置信度或错误率的迹象。一些人为此设计辩护，声称这样更容易让法官理解，因为他们无法理解概率。这是一种傲慢的想法。当前系统并不简单；它是简单化的，这使它具有误导性。算法通过提升规范性红旗误导法官。如果它实际上给出了概率，法官就会知道“高风险标志”实际上意味着“大约有 3%的机会”。

这种设计也低估了法官获取额外背景信息的能力。例如，一个谦逊的算法可能指出，对于特定被告来说，家庭暴力是一个可能的风险情景，鼓励法官调查该被告当前的伴侣关系。对于某些档案，算法的训练记录可能有限或不一致。如果统计信号不足以进行良好的预测，一个谦逊的算法会完全依赖法官做出决定。

算法和人类一样，并非完全或均衡地具备专业知识。因此，它们应该承认自己的局限性。在法庭上使用算法的目的是消除人类的偏见。这是一个合理的担忧，因为法官可能存在对种族、性别、社会阶层甚至午餐选择的偏见³。

有时人们认为算法是纯客观的，但除了午餐菜单之外，它们并不免于偏见。与人类一样，它们的偏见源于对世界有限和非典型经验的不准确概括。当算法面对美国的司法记录时，它会立即得出结论，认为非裔美国人更有可能犯罪。美国残存的种族歧视遗产以及司法系统对非裔美国人的结构性偏见对这种机器来说并不重要。即使没有提供被告的种族信息，也可以从被告的邮政编码或被告犯罪记录中推断出来。

为了平衡这种影响，可以设计算法以实施某种公平主张。例如，可以将错误率限制在不同族裔群体之间相等。具体来说，这种限制定义了一项平权行动政策：当考虑黑人被告以抵消种族歧视时，算法应该更加宽容多少？ 算法散布有这样的参数，可以调整幕后的关键权衡。傲慢的算法可能有意地不透明，以掩盖政策决策。最基本的参数就是这个：我们愿意为了防止一个人犯下暴力犯罪而将多少无辜人关进监狱？ 答案是“为了每个罪犯，愿意让 33 个无辜人坐牢”，这个数字隐藏在代码内部。确实，谁能合理地大声辩论说，1:33 的比率是公平的？这个数字被选择，以便算法能够复制当前系统的监禁率。但这种做法是错误的：算法不应悄悄地自动化荒谬的司法标准，而应暴露和挑战它们的假设。

在数字时代，计算机程序已成为我们自由的主要调控者——因此有了“代码即法则”的说法。⁴ 算法设计、训练集、错误率和公平主张都应该是透明的，因为不透明可能是暴政。数据科学可以提供宝贵的洞察力，指导复杂和重大的决策。然而，当数据科学掩盖底层问题的复杂性时，它可能对决策造成不利影响。

围绕人工智能的流行神话夸大了预测工具的能力。如果算法要取代或支持人类专业知识，它们不应该表现得像拥有无上否决权的神秘裁判，而应该更像明智的顾问。无论是机器还是人类专家，都应该具备同样的勤奋精神：证明决策的合理性，承认盲点，并保持谦逊。相应地，人类应该以批判的态度与算法交互，利用人工智能永远缺乏的基本认知部分：常识。

¹ PSA 被用作举例，但在本文所描绘的缺点也适用于美国司法管辖区使用的其他预审风险评估工具。PSA 可以说是设计较为符合伦理的工具之一。

² Marc Faddoul, Henriette Ruhrmann, and Joyce Lee，《一种预先风险评估工具的风险评估：斗争、缓解策略和固有限制》，《计算机与社会》，康奈尔大学，2020 年 5 月 14 日提交，https://arxiv.org/abs/2005.07299。

³ Shai Danziger, Jonathan Levav, 和 Liora Avnaim-Pesso，《司法决策中的外部因素》，《国家科学院院刊》108 卷，第 17 期（2011 年）：6889–92，https://doi.org/10.1073/pnas.1018033108。

⁴ Lawrence Lessig，《网络空间的法则与其他法律》（纽约：基础书籍，1999 年）。

第六部分：政策指导方针

要使道德成为组织分析和数据科学实践的基石，必要的组成部分是一套指导人们行动的政策。本节提供了关于如何最好定义道德政策的视角。

第七十一章：在数字时代平等分配道德结果

Keyur Desai

TD Ameritrade 首席数据官

数据是一种不可腐化的原材料，经过分析可以揭示和证明真理——本质上来说，“数据即真理”。自 17 世纪中期数据首次用于科学理解以来，这种观念就错误地渗透到了社会中。更接近现实的是，当数据被错误使用时，它是一种可腐化的原材料，可以被物理操纵以得出符合原始者利益的真理/洞察，或者得出符合原始者意识或潜意识偏见的真理/洞察。我喜欢作者史蒂芬·杰·古尔德在他的著作《人的误量》（W. W. Norton）中如何简洁而深刻地表达这一点：“期望是行动的强有力指导。” 近代和远古历史上有很多例子，显示个人和社区因数据或算法偏见分析而受到错误影响。数据可以影响权力、人的生活、健康、知识、信仰和福祉的动态。算法可以强化压迫和不平等，并与监控资本主义相关联。我认为“只有在道德和诚信的前提下，数据才是真理”。

要揭示其真理，数据必须在其整个供应链中使用诚信和道德。也就是说，数据必须从人类创建、定义、查找、检查、获取、准备分析、分析以及分享洞见或建立人工智能系统的起点开始，都要保持诚信和道德。我们能做些什么来确保整个分析供应链都在道德和诚信的指导下运作，以便我们可以完全信任所接受的真理/洞察？这里有三件事情。

首先，我们需要一个伦理框架，以确保所有参与者理解分析供应链对他们施加的共同操作期望。要建立这一框架，我们需要确保这些期望可以被社区成员轻松快速地理解，并且足够灵活，适用于许多不同的情况。我们需要的是一套指导原则，而不是一套死板的规则。此外，我们需要意识到整个分析供应链是由人类创造的，由人类操作，并将影响其他人类。因此，当我们定义伦理框架时，我们需要以社会学的视角而不是技术视角来做。正如医学研究社区在 20 世纪 70 年代由于图斯基吉梅梅梅梅疯狂患者研究中的伦理缺失而苦苦挣扎一样，一个委员会由 1974 年国家研究法案创建，负责确定应该支持涉及人类受试者的生物医学和行为研究的基本伦理原则，并制定指南以确保这些研究符合这些原则。结果是贝尔蒙特报告。该报告概述了三个原则：

尊重个人

保护所有人的自治权，并对他们彬彬有礼和尊重，并允许知情同意。研究人员必须真实无欺。

善行

尊重“不做伤害”的理念，同时最大化研究项目的利益，最小化对研究对象的风险。

公正

确保通过公平分配成本和利益给潜在的研究参与者，合理、非剥削和深思熟虑的程序公平地执行。

将这些原则适应于分析领域，我们可以重新表述为：（1）自治权——人们应该能够自主决定其数据的收集和使用；（2）不做伤害；以及（3）共情和透明度——你是否愿意成为创建数据真相/见解的人，或者是受这些真相/见解影响的人，并且能够解释数据和分析的来源导致了什么行动？

第二，我们需要对分析供应链进行独立监督，监督者思想的多样性至关重要。伦理原则是一个很好的起点，并将对参与分析供应链的人类产生一致性，幸运的是，他们大多数是出于善意。但仅靠原则无法阻止那些有意扭曲数据真相的不良信息提供者，或者无意间存在偏见的信息提供者。任何一种情况的后果都可能对个人或人群造成灾难性影响。为了防止这些后果，我们需要一个独立监督整个分析供应链的机制。然而，单靠独立监督还无法消除偏见。为此，我们还需要确保监督者中存在多样化的视角。社会科学家与数据科学家和人工智能专家的协作视角可以揭示出后两者可能忽视的后果，同样受到数据/系统行动影响的人们的视角也是如此。

第三，独立监督需要适应快速发展的数字世界。每个决策都必须得到委员会批准的非数字化结构将阻碍数字世界需要保持的速度和灵活性。对此的一个引人注目且现代的解决方案是创建一个数字能力，允许数据和分析专家在分析供应链的每个环节独立执行其工作。当他们执行工作时，就像亚马逊可以查看您的浏览活动和购买记录而无需您明确向亚马逊提供这些数据一样，监督委员会有能力审查关于数据来源的信息；数据来源中数据的创建、更新和删除方式；这些来源的数据质量；在这些数据上执行的具体计算；以及使用这些计算和结论制定行动的报告。这一切都可能通过捕获整个分析供应链的端到端传承实现，以及包括数据湖、数据目录和数据准备在内的现代数据治理技术。数据科学和人工智能可以在这样一个技术系统的基础上使用，为监督委员会标记可疑行为，就像银行可能会为进一步审查的潜在欺诈行为进行标记一样。

借助易于理解且灵活的伦理框架，独立监督整个分析供应链，监督过程中多元化的视角，以及数字化监督系统，我们可以确保我们人工智能系统产生的洞察和行动是符合伦理的。

¹ 维基百科，参见“贝尔蒙报告”，最后修改于 2020 年 5 月 17 日，07:41，https://oreil.ly/jkUv-。

第七十二章：数据伦理——分析领导者的三个关键行动

约翰·F·卡特

前查尔斯·施瓦布公司数据与洞察高级副总裁

数据隐私和数据伦理问题的话题在过去几年中显著增长。这种发展部分是由于诸如欧盟的 GDPR 和加州隐私权法案（CCPA）等新立法的推动，这些法律旨在为个人提供更多的数据控制、透明度和所有权。除了眼下的这些新法律，未来还可能会出现更多新的立法，这些法律可能会显著限制数据的使用，这可能会阻碍创新并影响我们提供有价值的数据驱动服务的能力，如防止欺诈、提供相关个性化产品以及改善客户服务。我们应该非常担心这些趋势，特别是现在我们正在看到大量非结构化数据与人工智能相结合如何在客户体验方面带来巨大改进，以及如何创造新的业务机会。

公司必须抢先行动，采取积极步骤将数据伦理指南和最佳实践融入业务中至关重要。许多公司已经任命了一名负责监督企业数据使用的个人，赋予他们诸如首席隐私官、首席数据官或首席合规官等头衔。这些人主要关注数据的法律方面，确保公司遵守法律规定，这是可以理解的，因为违法行为将会导致严重后果。然而，我们必须把数据的合法性和隐私保护提升到一个新水平，这就是数据伦理的作用所在。

客户信任我们尊重其隐私并安全、合乎伦理地使用他们的数据。我们已经看到许多情况下，不良的数据伦理导致品牌受损、客户流失和公司利润下降。数据伦理不仅仅是法律要求，还涉及组织内部数据的正确收集、管理和使用。例如，一家公司可能会通过程序化广告购买利用广泛的数据集进行高度针对性的营销活动，但如果这种提供是具有侵入性且不合时宜，并且利用了敏感的机密信息，那么可能会引发消费者的“怪异感”，并引起其担忧。增加销售的短期影响可能微不足道，而长期失去信任和品牌考虑则可能会带来更大的损失。聪明的组织意识到与客户和潜在客户建立信任的重要性，并将数据伦理指南和实践纳入其运营中。

分析领导者在这方面具有独特的贡献机会，因为他们及其团队通常对数据如何在公司中收集、组织和使用有最深入的了解。现在是分析领导者挺身而出，在其组织内推动数据隐私和伦理实践的关键领导角色的时候了。以下是如何发挥这一领导角色的一些即时建议：

加入公司的企业数据委员会。

如果公司还没有这样的机构，则影响公司成立一个。这个委员会应该是跨职能的，应执行多项职能，包括制定数据伦理指南、确保全公司对这些指南有充分的理解，并审查和批准数据的新用途。对新数据使用的批准应考虑业务价值、消费者隐私以及应用为消费者带来的价值，以及品牌和运营风险。毫无疑问，不同的人可能会有不同的意见，但通过跨职能讨论，通常可以达成共识决策或适当修改数据使用。作为委员会上的分析领导者，您将能够解释数据如何支持不同的用例；这将有助于教育委员会并提供重要的新领域来讨论和解决问题。

制定衡量数据伦理的策略。

可以创建指标来衡量内部流程，但更重要的是，战略应包括用于了解客户感知的指标。许多公司进行持续调查以衡量品牌健康状况、客户情绪、信任等。通过增加几个关于数据伦理和隐私的问题，您将建立一个可以随时间追踪和衡量的基准。通过使用 AI/机器学习算法挖掘非结构化数据，还可以找到另一个洞察的来源。来自呼叫中心和电子邮件、社交帖子和博客（Twitter、Reddit 等）以及内部客户投诉数据库的语音/文本数据是分析每日趋势和提供任何数据伦理问题的即时指示的重要来源。还可以跟踪退出率以用于趋势分析，并确定退出背后的原因，从而在必要时调整营销内容和频率。

教育数据科学团队关于数据隐私和伦理。

数据科学家擅长发现和整合模型所需的数据，但仅仅因为数据存在于您的企业数据仓库中或可以从外部网站抓取，并不意味着可以在道德上使用这些数据。在算法创建之前，强大的分析团队需要进行前期规划，并且每个使用案例也应从数据伦理的角度进行审查。你的公司是否有权使用所提议的数据？该应用是否违反任何法律或隐私政策？使用案例是否为客户和公司提供价值？是否会出现可能影响公司品牌的“怪异因素”？这些问题都是数据科学家在怀疑时需要审查并升级到企业数据委员会的领域。

总之，分析领导者在为公司建立和实施健全的数据伦理实践方面可以发挥重要的领导作用。这将导致更好地管理和使用数据，为客户提供更大的数据保护，同时降低公司品牌资产的风险。

第七十三章：伦理：数据科学职业的下一个大浪潮？

Linda Burtch

Burtch Works 的董事总经理

在像欧盟 GDPR 这样的法规、高调公司的数据泄露、数据的非法使用等问题引发的数据隐私和伦理关注的聚光灯下，所有组织都需要审视其数据收集、分析和货币化方法的伦理问题。我们现在数据收集能力所提供的权力和范围正在日益引入多种从未在过去需要解决的伦理问题，涉及广泛的应用。

数据伦理意识的提高可能带来的一个后果是负面宣传对组织在竞争激烈的劳动市场中招聘能力的影响。高级别分析领导者了解数据科学中的伦理困境如何影响其组织吸引潜在人才的能力至关重要。数据科学家有越来越多的职业选择，随着数据运动的成熟，我们看到许多数据科学家根据公司的所做之事或其“使命”做出职业决策。在许多情况下，数据科学家甚至愿意放弃更高的薪水，选择“使命驱动”的角色。高调的伦理失误和争议不仅可能造成公关危机，而且还可能阻碍公司吸引顶尖人才，这些人才可能会因为公司的商业模式与其价值观不符而三思而后加入。

组织在数据相关的伦理和隐私问题上的立场应该反映在分析人员的态度和行为中，同时也应作为评估定量团队新成员的标准之一。数据科学家和分析专业人员通常根据其技能和工具熟练程度进行筛选。确定是否与组织的伦理和隐私关注态度相符的专业人士取决于许多因素，未来一个重要因素之一应该是候选人对伦理和隐私问题的态度。

鉴于这些问题的重要性和复杂性，我提出一个问题：数据科学团队是否需要一个专门负责推动围绕这些日益普遍的伦理难题展开讨论的伦理主管？这个领导者可能是专门负责制定组织路线图和保护措施，以确保组织遵守伦理和隐私指南。类似于数据治理关注谁可以访问哪些信息，以及数据保护等其他相关功能，伦理主管的角色将是汇集共识，制定伦理指南，并确保组织遵守相关法规。

几年前，数据科学家的“独角兽”们被期望具备从数据获取到清洗、建模和传播等各方面的技能，随着这一学科的迅速成熟，我们现在看到其他角色开始分离，专注于处理这一过程的不同方面。到目前为止，每个人都听说过数据工程，而像数据故事讲述者这样的角色也在崛起——数据伦理角色会是下一个数据科学人才的大浪潮吗？

组织有责任考虑他们的数据如何被使用和货币化，如果分析领导者不采取积极的方法来确立团队在隐私和伦理困境上的价值观，或者如果公司不指派人员来管理这项任务，可能会使组织变得脆弱。我们已经看到在一些行业的组织中散布着伦理角色，如金融服务和医疗保健行业，在这些行业中，客户或患者隐私规定至关重要，但随着更多行业扩展其数据使用，对所有公司来说优先考虑这种角色可能是明智的。

第七十四章：为企业数据设计伦理框架

凯丽·麦康奈尔

西北互助数据科学研究所执行董事，西北互助

如果你正在领导任何企业部署数据和预测模型的努力，早期将道德设计到流程中是至关重要的。你希望你的团队确信他们部署的道德方面以一种有助于提供出色客户体验的方式得到了解决，积极主动可以帮助你的项目团队计划实现这一目标所需的步骤和成本。不确定从哪里开始？以下是四个战略步骤，帮助你的企业从一开始就将道德设计到你的技术和数据科学工作中。

采取分层方法

机构化道德可能看起来应该是第二天性的事情——毕竟，你很可能已经努力确保你雇佣了具有强烈道德的员工。然而，为了避免不经意地干扰这种道德，你的团队需要理解为什么明确道德原则至关重要。你可以从设计道德原则的分层方法开始，首先弄清楚你为什么需要它们。为什么要通过一个激励性的陈述和承诺来解决这个问题，并通过明确企业核心价值与数据和分析工作如何支持这些价值的一致性来解决这个问题。政策讨论了支持原则所需做的事情和需要避免的事情。支持每个原则的可能有多个政策。数据和分析专业人员需要知道如何实施这些政策——指导方针、标准和程序将有助于明确政策的操作组成部分。

做好你的研究

许多数据和分析行业中最优秀和最聪明的头脑已经付出了努力来实施数据和分析的道德原则。识别这些组织，并试图了解他们的原则集。来源可以包括公司网站和研究公司（例如，Gartner 和 Forrester）。与你的同行和你认为在数据和分析方面是专家的人交谈——他们很可能已经有某种形式的原则在运行中。从可能已经开发了尚未向行业散布的原则的伦理学者那里获得意见。寻找除自己领域之外的创新想法。例如，一个保险公司可以参考生物医学研究的有用原则和指南，而在线零售商可以评估数字原生公司。

识别并吸引你的利益相关者

在企业层面上，评估公司各部门/领域的角色，这些角色将需要帮助制定和实施组织的数据与分析的道德原则。考虑在制定道德原则的过程中的主题专业知识和决策权。建立一个跨职能团队，包括所有关键角色。定义团队章程、角色和责任。章程应概述业务驱动因素、团队目标、战略对齐、范围和相互依赖关系。评估当前的治理结构并确定交集。不要重复造轮子——这样做只会让知道如何使用现有政策的人感到困惑。

采用敏捷方法

在所有的参与活动中，都要以敏捷思维的方式来处理——寻求从所有相关方获得一致意见会导致无休止的批准链条，从而延迟实施可操作原则的能力。迭代实施伦理原则，并在组织的高层逐步获得批准。一旦第一个版本达成一致，使用一系列案例研究来展示实施原则的情况。这些案例研究应考虑到将影响原则的各种角色或利益相关者，并允许组织在实施组织变更之前测试原则的可行性、成本和范围。定期审查原则、案例研究的结果和实施进度，同时努力理解实施原则过程中的关键缺口和风险。定期更新行业和监管标准、研究和战略对于维持伦理原则的影响以及确保在项目团队设定的原始章程中推进战略的有效平衡是必要的。

通过利用这种设计框架，组织可以在开发过程中设计数据和预测模型的伦理，从而部署它们。这将帮助所有组织定义一个量身定制的方法来实施数据和分析的伦理实践，同时保护隐私并创造积极的客户体验。伦理和优越的客户体验将会产生协同效应！

第七十五章：数据科学不需要道德准则

戴夫·樱桃

执行策略顾问，樱桃咨询有限责任公司

对于一本关于伦理和数据科学的书中的一篇文章来说，这可能看起来有些奇怪。但这是事实。数据科学不需要道德准则。它需要其他东西（我很快就会揭示）。

伦理被定义为“指导个人行为或进行活动的道德原则集合”。基于这一定义，道德被定义为“一种教训，特别是关于什么是正确或谨慎的，源自于一个故事、一条信息或一种经历”。

让我们通过数据科学的以下组成部分来深入探讨这些定义：数据、模型/工具以及人。

数据不是一个人。它不是在可以独立做出决定或展示行为的意义上活着的。因此，可以得出结论，数据既不道德也不不道德。它只是数字、事实、属性等。数据可能存在内在偏见。然而，这些偏见通常是由人类创建的，产生的数据仍然是发生情况的准确表示。伦理不应与偏见混淆。

数据科学的模型和算法遵循相同的逻辑。由人类开发，模型有能力在数据中引入偏见。但再次强调，模型本身无法具有道德或非道德性。

这让我们关注到了人。数据科学家。商业伙伴，技术伙伴。以及更多。通过他们的信念和行动，人们可以是道德的或不道德的——有时候两者兼有。人是最大的变数，因为我们每个人都有完全独特的生活经历，这些经历塑造并影响着我们的行为。不幸的是，我们也有能力表现出非理性和不稳定性。

如果这是真的，那么为什么数据科学不需要一套道德准则来指导和管理人们呢？如果其他职业都有，那为什么数据科学不需要呢？

这是因为数据科学只需要大量和重复的常识。常识被定义为“关于日常事务的理智实用判断，或者是几乎所有人共享的感知、理解和判断的基本能力。”

常识是有上下文的。例如，我认为我们都会同意，我打破邻居的前窗户并不是好的常识。但在正确的情境下——例如，如果我的邻居的房屋起火，我的目的是拯救他们的宠物——那么打破窗户就是完全合乎常识的，因为这是基于我能够感知到几乎所有人在类似情况下会做的事情。

道德和常识可能会混淆，但它们之间有一个重要的区别。道德通常不像常识那样具有上下文性。再次看一下之前提到的道德定义，我们会发现“上下文”一词并未提及。大多数人会同意撒谎是不道德的。但我们都曾经这样做过，而且可能并没有因此责备自己。这是因为我们应用了背景信息。有时候，常识要求不道德行为是可以接受甚至是推荐的做法。

数据科学也是如此。更好的决策，这是数据科学和分析的最终目标，依赖于两件事情：洞见和直觉。洞见是更容易讨论的部分——数据中的模式和异常。直觉则更加棘手，包括经验、直觉感和最重要的背景信息。

让我们不要急着为数据科学制定一个道德准则，作为另一个无法像今天不断变化的环境一样迅速或动态适应上下文的治理或标准化元素。让我们不要浪费时间去定义或辩论这些道德标准应该是什么，因为我们可能有不同的看法，而且这个过程可能永远持续下去——或者更糟的是，导致多个不同、潜在混乱和冲突的数据科学道德标准。

让我们要求大家都简单地运用常识，而不是其他。让我们在定义要解决的问题时这样做。让我们在收集和清理数据时这样做。让我们在建立我们的模型和识别洞见时这样做。让我们在评估我们的选择和做出决策时这样做。

让我们保持简单。让我们像几乎所有人一样去感知、理解和判断日常事务。最重要的是，在行动之前，让我们再次做这些，再次检查自己。

第七十六章：如何负责创新

Carole Piovesan

合作伙伴兼创始人，INQ 数据法律

“负责任创新”这个词组曾经是矛盾的。回到 15 年前左右，你使用这两个词会被嘲笑。在 2000 年代初期，创新的公认伦理是“快速行动，打破常规”。这种伦理优先考虑实验和探索，而非谨慎和勤勉。无尽的好奇心受到欢迎，由对下一个大点子的投资狂热推动。

然而，快进到 2010 年代，那种无尽的好奇心所带来的后果不再能被忽视。随着我们现在收集和分析人类行为的各个方面，并使用诸如 AI 之类的先进预测技术，创新的基本影响正在接受审视和测试。

对“负责任”的创新的关注引发了关于社会中技术的充分和诚挚的辩论（请注意，并非新问题，但被重新激发）。关于大数据和 AI 的问题从能够、应该和愿意到如何、为什么、由谁，以及然后正在被问到。AI 的社会、政治、经济、人权和法律影响是确实被质疑的，对于保护社会免受意外伤害的防护栏的需求正在蔓延。

但要密切关注这些辩论。决策者、公民社会领袖、学者、企业家、伦理学家、律师等并不是在单纯讨论算法本身。我们正在讨论技术对我们价值观的影响——这些价值观支撑着我们的民主社会——以确保我们的创造能够增强我们希望生活在其中的社会类型，而不是颠覆它们。像剑桥分析公司这样的丑闻或最近关于执法部门使用 Clearview AI 面部识别系统的曝光，不仅仅（或根本不）是关于技术本身，而是关于其背后使用意图的问题。

负责任的创新——这些词可以并且应该在一起使用——由对这些复杂技术系统的开发、运作和监督进行周密、勤勉和可辩护的过程所管理。勤勉可以与创新并存。我提出一个四点框架，计划在任何组织中进行负责任的创新：

从人的因素开始

考虑用户，并使用户的利益和期望与组织的创新计划保持一致。同时，识别组织的价值观，并将这些价值观与组织的创新议程保持一致。简言之，让人们加入，并提前将您的组织叙述与之一致。

确保良好的数据实践

遵守数据保护法律只是开始。对 AI 系统的数据实践进行周到和情境化评估是有价值的，特别是对那些用于高风险活动的系统，例如与某些医疗设备配合使用的系统。映射并记录用于评估和评估这些高风险系统的训练数据和持续数据暴露的过程。记录适当的缓解活动以帮助降低风险。

在上下文中评估 AI 系统。

审查并记录合理归因于组织更先进的 AI 项目的风险水平。并非所有 AI 系统都是平等的。有些对人类福祉和/或社会造成的风险非常小。这些系统不需要像在更敏感或短暂环境中使用的系统那样进行同等级别的审查，例如医疗保健或安全领域。

建立合理和周到的行动方案，用于更高风险的 AI 系统。

勤勉和问责制至关重要，并且坦率地说，这些是在意外后果出现时的良好法律防御。展示一种考虑周到、富有见地和积极主动的风险管理方法对于建立信任、降低风险、组织叙事以及最重要的一点，做正确的事情，是非常重要的。

这种基于风险的框架被提议为一个合理的防护措施，直到相关法规出台或取而代之。我们将看到在某些情境下（例如执法和政府进行的面部识别）对某些 AI 用途进行监管。与此同时，组织必须继续创新，但与过去的理念不同，必须负责任地进行创新。

第七十七章：实施 AI 伦理治理与控制

史蒂夫·斯通

创始人，NSU 技术公司 & 前首席信息官，

低 e 和有限品牌

电影战争游戏的发布与我在技术领域的职业生涯的开始同时。对许多人来说，战争游戏介绍了人工智能的概念及其可能对我们生活的影响。

快进 36 年，我们看到智能算法在从购买产品到国防的各个方面扮演着重要角色。计算能力和数据存储的主要进步，加上曾经模拟的过程日益增加的数字化，推动了计算智能解决方案的前所未有的增长。

尽管大多数人认为这些进步极大地造福了社会，但许多人对由机器驱动的决策所带来的道德影响感到担忧。就像我们在战争游戏中看到的那样，机器会执行它们被训练来做的事情，即使这种训练对社会的大部分人是有害的。确保计算智能解决方案的安全和道德运行对于使用这些解决方案的公司以及整个社会来说都是一个重大关注点。我想把这次讨论重点放在为 AI 解决方案开发必要的治理和控制环境上，以确保所有利益相关者的安全和道德状态。

与任何形式的软件开发一样，AI 项目的结果受到开发生态系统、迁移到生产状态所需的流程以及最终解决方案的持续审计的影响。然而，确保 AI 解决方案的道德状态需要在解决方案生命周期的各个步骤中增加额外的控制。

采用 AI 道德行为准则

为 AI 解决方案维护适当的开发生态系统始于 AI 道德行为准则。这一行为准则应概述所有 AI 开发者必须遵循的步骤，以消除偏见、促进透明度，并承担社会责任。AI 道德行为准则应包含指导开发者的标准和实践，涵盖审计可能性、可访问性、数据管理、权利委派以及道德/道德责任等主题。这一行为准则将通过为所有开发者提供强制性培训来加强，以确保他们理解组织的道德责任。

强调在招聘和招聘中的多样性

除了采用 AI 道德行为准则外，组织还应专注于招聘和雇佣多样化的开发者，以帮助消除“群体思维”，并在开发生态系统中强化包容性思维的文化。

最后，在 AI 工作的结果可能影响到社会的大部分人群的情况下，组织应雇佣伦理学家。伦理学家是专家，他们教育并与开发者一起致力于道德开发实践。

确保符合道德审查委员会的要求

在适当的开发生态系统到位后，下一个关注领域是将 AI 解决方案迁移到生产环境的过程。在 IT 领域，质量审查委员会（QRB）或架构审查委员会（ARB）的概念很普遍。对于 AI 解决方案，需要一个新的治理机构，伦理审查委员会（ERB）。在确保在开发和使用 AI 中遵守伦理实践的治理框架的同时，ERB 还充当新 AI 解决方案进入生产状态的守门人。未能通过 ERB 审查的新解决方案将不被允许投入生产。

建立审计和反馈回路

一旦 AI 应用投入生产，就必须持续进行审核以确保合规性。这些审核将不仅检查算法，还将检查为算法提供数据的数据。由于 AI 算法通过迭代学习，数据中的偏见会导致算法的有偏向的“学习”。

尽管审计和持续测试以理解意外结果至关重要，但这并不足够。此外，还应向那些操作超出系统 AI 控制范围的用户提供反馈回路。可以通过应用程序内置反馈回路或使用调查工具来实现反馈回路。

简而言之，建立一个具有适当独立性和透明度的操作性人工智能生态系统对于那些构建和运营对社会有影响的智能解决方案的组织来说是必不可少的。

AI 伦理控制并不性感或令人兴奋。但让我们面对现实：如果这些控制措施存在，战争游戏 就会是一部更加无聊的电影。

第七十八章：人工智能：在新兴伦理中的法律责任

Pamela Passman

副主席，Ethisphere

CEO，负责企业与贸易的中心（CREATe.org）

对 AI 的使用兴趣正在增加，2019 年全球 500 强企业中 30%的受访样本报告称他们已经在选择性的业务功能中使用 AI。AI 可以在广泛的应用和活动中发挥作用，从产品设计和测试到各种数据分析、市场营销功能、机器学习、医疗测试、虚拟援助和其他任务。

人们对 AI 的可靠性和潜在误用的担忧也是企业、投资者、政府和消费者关注的焦点。AI 带来的广泛新机遇和风险已经促使至少32 种不同的 AI 伦理准则的制定，这些准则由行业、非政府组织和政府共同提供指导，以支持社会价值观并管理风险。

总体而言，AI 的代码处理三个高级问题：AI 的负责设计和使用，AI 的道德使用，以及我们将在这里深入探讨的问题——AI 的合法使用。AI 的合法使用涉及符合公司在与 AI 相关的法律要求和责任方面的规定，包括数据隐私和网络安全。它还涉及将 AI 用于合法目的，而不是用于本身非法、危险或可能为公司带来责任的活动。

数据隐私

许多 AI 功能涉及分析大量数据，以预测行为或结果，并作出更为明智的决策。从实际应用角度来看，这意味着 AI 系统可以分析和综合数百万份医疗报告、患者记录、临床试验、科学研究和其他数据点，以帮助提供更快速和更准确的医疗诊断和治疗建议。

纽约的斯隆-凯特琳癌症中心和其他肿瘤学医院和诊所一直在使用 IBM Watson AI进行大规模数据分析，以帮助医生对癌症患者进行诊断并制定管理计划。

当个人的医疗数据或其他个人信息在这些和其他方式中被收集和使用时，一个明显的合规问题是保护和维护此类可识别个人信息的隐私。在美国，特定的联邦HIPAA 法律和法规要求那些收集和处理“受保护健康信息”，包括患者的医疗和个人数据，不得在未遵守 HIPAA 的情况下使用或披露此类信息。

更广泛的数据保护法律，例如欧盟的通用数据保护条例和 2018 年的加州消费者隐私法案，规范了所有类型个人身份信息的收集、处理、使用和转移，正在建立新的监管范式。数据保护机构公开表达了对“个人数据越来越成为 AI 应用的来源和目标”的担忧，认为 AI 的使用不应损害用户的数据保护权利。

许多公司正在投入资源解决这些挑战。在很大程度上，新兴的 AI 伦理准则明确指出，AI 的开发、实施和使用应保护个人的个人数据。IBM 的AI 原则明确表示，“IBM 遵守我们运营国家和地区的所有数据隐私法律，并完全致力于保护客户数据隐私，在数据驱动社会中至关重要。”

开发、实施或使用 AI 以收集和处理个人身份数据的公司，应当确保其公司政策和程序同样依据适用法律和法规保护个人数据，这是明智之举。

网络安全

新兴的法律要求和涉及 AI 的伦理准则也突显了 AI 使用需伴随有效的安全措施——尤其是网络安全，以减少黑客攻击和数据盗窃的风险。

近年来，网络安全风险引发了政府、行业和广大关注，导致了“网络安全法规的潮流上升”。这些法规包括数据保护、政府合同、医疗保健和其他领域的特定网络安全要求，以及强制性的网络安全职责和责任，可由政府和私人诉讼当事人执行。

AI 的开发、实施和使用可能涉及各种网络风险——不仅是数据分析和使用可能丢失或被盗的风险，还包括 AI 系统本身准确性和可靠性的风险。在一个著名的实验中，黑客通过改变几个像素，成功欺骗了基于 AI 的图像识别系统，使其将一张猫的图像误认为狗，甚至是隐形战斗机。

AI 伦理准则，例如OECD 关于人工智能的建议，要求 AI 系统在其整个生命周期中“强大、安全和安全”，并要求 AI 行为者对 AI 系统生命周期的每个阶段应用系统化和持续的风险管理，以解决与 AI 系统相关的风险，包括数字安全。

公司的人工智能相关活动的安全性必须得到审查，并纳入公司的整体网络安全和其他安全政策及管理体系中。

仅限合法用途

不应该让人感到意外的是，像人工智能这样有助于促进一整套有益用途的技术，也可以被用于有害或明显违法的活动中。例如，2019 年初，网络犯罪分子利用 AI 技术驱动的语音技术模仿欧洲公司高管的声音，成功地通过电话欺骗了他的英国 CEO，将 243,000 美元汇入了欺诈者在匈牙利的银行账户。

除了欺诈之外，一些公司官员和各种非政府组织对人工智能在自主武器甚至“杀手机器人”中的潜在使用表达了关注。例如，Google 在其AI Principles中做出了具体承诺，不设计或部署可能会造成整体伤害的技术，并且不会开发用于武器的人工智能。该公司还表示，不会在“其目的违反广泛接受的国际法和人权原则的技术中使用人工智能”。类似地，微软的总裁呼吁制定一个新的“数字日内瓦公约”，以应对全球范围内人工智能和其他技术的潜在有害用途。

不同公司在开发、实施或使用人工智能技术时可能存在的法律考虑和潜在危害可以有很大差异。但对于处理人工智能的公司来说，考虑承诺不将人工智能用于非法或危险目的在制定自身具体人工智能政策或实施更广泛的人工智能伦理原则时非常重要。

第七十九章：使问责成为优先事项

Yiannis Kanellopoulos

创始人，Code4Thought

毫无疑问，算法系统正在做出对我们日常生活产生重大影响的决策。正如尤瓦尔·诺亚·哈拉利在他的书《21 世纪的 21 堂课》（Random House）中所述：“今天，‘真理’已由谷歌搜索的前几个结果来定义。”因此，关于这些系统功能的透明性不仅仅是目的本身，而是达到问责的手段。

根据西北大学计算新闻实验室（CJL）主任、助理教授 Nicholas Diakopoulos 的说法，这里的“问责”意味着决定何时以及如何引导（或限制）算法系统在面临关键或昂贵错误、歧视、不公正拒绝或审查风险时的程度。

简而言之，对系统进行问责意味着我们应该在技术和组织层面上对其进行控制。尤其是当我们（有点简单地）考虑到算法系统仅仅是一个能够：

解决组织提出的业务问题集（系统）
以由人类或自动化过程选择和预处理的数据作为输入
利用模型（例如支持向量机、深度学习、随机森林等），处理选定的数据并最终做出决策或提出组织提出的问题/问题集的答案/解决方案

要能够控制这种软件，我们需要深入了解（或对每个前述方面做出明智决策）。

创建该系统的组织需要在系统开始开发之前，为系统的问责性提供设计和关注。具体来说，该组织应该：

建立可见的补救方式，以应对其系统造成的不利个人或社会影响。
遵循人在环路中的原则，并指定适当的人员在出现问题时做出正确的决策。
能够以非技术术语向最终用户和其他利益相关者解释其系统的决策。
知道其算法的潜在误差来源及其如何减轻其影响。
允许感兴趣的第三方探索、理解和审查其算法的行为。
确保算法决策在考虑不同人群（例如种族、性别、教育水平等）时不会产生歧视性或不公正的影响。

关于系统的输入数据，即现代经济中所谓的“新油”，我们主要需要关心其：

质量，包括准确性、完整性和不确定性，以及及时性，样本对特定人群的代表性和假设或其他限制
处理，包括数据定义，收集方式，审查和编辑（手动或自动化）。

关于模型本身，考虑的最重要的事情包括：

它是否适合当前的问题。这可能看起来很奇怪，但我们看到有些模型从未被操作化，仅仅因为它们不适合特定目的。
模型构建的过程，即确定其输入和所选特征或变量，以及它们的权重（如果它们是加权的）。
评估这个模型的方式，即确定要使用的评估指标，其选择背后的理由，以及最重要的是如何使用和解释这些指标。
模型的准确度或误差范围，以及数据科学家能够将其与标准数据集和标准准确度度量进行基准比较的能力。

考虑责任并以责任为设计基础的组织可以获得以下好处：

使用系统的组织与其输出受影响的人之间的信任（无论是客户、公民还是普通用户），因为结果可以解释清楚。
系统输出的改进，因为可以根据需要校准/微调识别的加权因子和阈值。
使系统更具说服力，因为其推理将更易于解释。

当前，公共讨论充满了自动决策出现严重问题的例子，从关键问题（例如，亚马逊的人力资源系统偏向于男性候选人）到甚至涉及生死的错误（例如，由优步自动驾驶汽车引发的致命事故）。很明显，我们人类需要控制我们所创造的技术。在我们开始开发自主决策系统之前，建立评估流程并让人类参与其中应成为组织部署任何为我们做出决策但没有我们的系统的先决条件。

第八十章：道德数据科学：既是艺术也是科学

保利·米切尔-古斯瑞

金飞轮行业外联与思想领导副总裁

我会记住，数据科学同样具有艺术性，也有科学性，温暖、同情和理解可能比曲线下面积或 R 平方更为重要。

希波克拉底誓言节选（编辑部加注）

希波克拉底誓言被认为是最早的职业道德准则之一，可以追溯到公元前约 500 年。当时的医学界经历了快速变化，许多医师主要出售他们的服务以从其技能中获利，并抓住了我们现在称之为西方医学的兴趣的增长。这一誓言是朝向优先考虑患者利益而不是利润的激进重定向。

自希波克拉底誓言创立以来，许多其他专业具有高度专业化技能的行业都采纳了道德准则，认识到他们的专业技能伴随着责任。除了医学外，从营养师、会计师到股票经纪人和律师，各种职业都有其道德准则。如果希波克拉底誓言创立时的因素听起来很熟悉（行业内的重大变化、兴趣的增长、寻求从新需求中获利的人的增加），那么你可能会欣慰地知道，自 2013 年以来，分析专业人士已经有了道德准则。我曾是首个导致创建认证分析专业人员（CAP）计划的创始工作组的一部分，该计划要求签署一个道德准则以获得认证。

道德对于今天数据科学和分析实践至关重要，鉴于其在我们当今世界中的广泛应用。正如 CAP 的道德准则所述，“分析专业人士参与分析工作，帮助商业、工业、学术界、政府、军方等社会各个方面的决策者；因此，建立和表达一种道德基础来负责任地完成他们的工作至关重要。此外，鼓励从业者行使‘良好的专业公民’，以改善公众对各种应用中分析使用的氛围的理解和尊重。”

我们生活在一个看似对人工智能和机器学习（AI/ML）无法满足的需求（和炒作）的时代，考虑到我认为它可以为我们的社会做出巨大贡献，这个前景让我兴奋。麦肯锡全球研究所已经整理了一个包含 160 个用例的库，但我最喜欢的几个用例包括使用 AI/ML 在癌症诊断中实现更高准确率（减少误诊），使用自然语言处理追踪供应链中的人权侵犯，自动分析卫星图像以打击非法砍伐，以及为各种情况和所有人创建适应性学习工具。

AI/ML 还推动了现代普通消费者每天都喜欢使用的工具，比如呼唤 Siri 或 Alexa，叫 Uber 或 Lyft，找 Netflix 上的电影，或在 Amazon 上购物。尽管它能带来好处，我经常遇到担心 AI/ML 对我们世界影响的人，他们最乐观的想象是机器人取代我们的工作，而最悲观的则是机器人完全接管一切。

出于这些原因，我认为我们必须对 AI/ML 的应用负责，这也是我支持其实践道德准则的原因。虽然我不担心“奇点”或其他世界末日的场景，但我确实意识到 AI/ML 模型可能会重复人类的偏见并被用来持续不平等。一个很好的例子是人脸识别技术：如果模型输入的图像大多是白人男性，它在识别白人男性时准确率很高（99%），但在识别有色女性时表现不佳（65%），正如Gender Shades 项目所展示的那样。这种偏见在警务应用中有重大影响，例如在法律执法中部署人脸识别技术来识别罪犯。与此同时，AI/ML 也许能够预防偏见，这促使许多初创公司将数学应用于招聘和留任等领域。

避免 AI/ML 的负面后果需要一种道德准则的问责制度，这种准则呼吁我们展现出更高、更好的自我。在最佳状态下，人们运用高度的共情和专业判断力，结合机器学习模型的高科技，后者在最佳情况下可以纠正人类的偏见，这是一种强大的组合。

第八十一章：算法影响评估

兰迪·古斯

美国联合健康集团 Optum 企业分析总监

自动决策系统正在各行各业中被使用。这些系统在透明度和效果上有所不同，通常会导致意外后果。算法影响评估（AIA）可以揭示解决方案功能的问题，并在严重伤害发生之前提供采取纠正措施的机会。

AI Now Institute发布了多篇文章，探讨分析算法和自动决策系统内潜在的道德问题和偏见。其中一份报告，算法影响评估：公共机构问责的实际框架，建立了评估自动决策系统不良影响的协议。¹

尽管该报告是为政府机构撰写的，但行业应该同样被要求遵守相同的标准。AIA 的关键元素包括：

政府机构应自我评估现有和拟议的自动决策系统，评估对公平性、正义、偏见或其他影响的潜在影响，涵盖受影响社区。
政府机构应开发有意义的外部研究人员审查过程，以便随时间发现、衡量或跟踪影响。
在获取系统之前，政府机构应向公众公布他们对“自动决策系统”的定义、现有和拟议的系统以及任何相关的自我评估和研究人员审查过程。
政府机构应征求公众意见，澄清关注点并回答未解决的问题。
政府应为受影响的个人或社区提供增强的正当程序机制，以挑战未经充分评估或不公平、偏见或其他有害系统使用，政府未能减轻或纠正的情况。

报告继续强调，AIA 将有助于实现四个目标：

尊重公众知情权，公开列出和描述对个人和社区有重大影响的自动决策系统。
增强公共机构内部专业知识和评估能力，以评估其构建或采购的系统，从而能够预见可能引起关注的问题，如不平等影响或违反正当程序。
通过提供持续的有意义的外部研究人员审查、审核和评估这些系统的机会，确保自动决策系统的更大问责性，使用能够帮助他们识别和检测问题的方法。
确保公众有充分的机会对某个系统的使用或机构的算法问责方法进行回应，并在必要时提出争议。

在 AIAs 所要求的披露级别方面，企业实体可能不愿意遵守。然而，他们应该遵守责任标准，同时保持专有知识。例如，报告特别讨论了第二部分中关于商业秘密的挑战。

第二部分还涉及获得资金和资源来实施人工智能评估（AIAs）的挑战。对于政府实体而言，在建议的独立监督机构存在的情况下可能是一个挑战。然而，对于行业来说，如果将指导方针纳入现有的产品开发框架中，增加的成本应该是最小的。事实上，在实施之前突出算法潜在缺陷应该能够导致更高效的产品开发，并减少意外后果的发生。

¹ AI Now 的报告根据知识共享许可证提供。

第八十二章：伦理和反思在成功的数据科学核心

Mike McGuirk

Babson College 的教员

我经常回想起在我分析职业早期，当我还没有显著的客户面对角色时，从我的导师那里得到的一些非常好的建议。他建议我在进行分析项目时，确保能够解释、证明和捍卫我所做的每一个决定和建议。我应该站在客户的角度，充分预见和理解他们的需求，然后超越他们的期望。这给我留下了深刻的印象，并让我在分析过程的所有阶段——分析设计、消费者数据使用、推荐基于洞察力的业务行动以及成功的衡量——始终保持思考和彻底。这种方法在以业务为中心 的运营模式中非常有效。

快进到今天的商业环境，以客户为中心 的运营原则主导一切，显然，仅仅依赖以业务为中心 的分析和数据科学流程已不再足够。公司们已经痴迷于利用消费者数据寻求竞争优势。事实上，根据 Forrester Research 在其2020 年预测：客户洞察报告中的解释，56%受访的企业将推出倡议并任命“数据猎手”来识别新的数据来源。就我个人而言，我觉得有些令人不安！这种对数据收集增强的强调需要一套新的分析和数据科学运营程序，以确保这些信息不被误用或滥用。

那些教会我预见客户需求的极好建议现在必须扩展到包括另一个关键的受益者：消费者！也就是说，我们分析社区中的所有人都可以通过采用鼓励分析师进入消费者的角度的工作习惯和流程来受益，以帮助信息化和管理我们的数据管理和数据科学实践。承诺透明并根据消费者的最佳利益行事。我们要能够舒适地向消费者解释我们如何使用他们的消费者互动、交易和人口统计数据来生成洞察力，并且这些洞察力如何影响我们的业务决策和行动。采用这种方法，我们不仅可以满足业务需求，还可以建立消费者信任。

采用以客户为中心的业务实践的概念显然并非新概念。像唐·佩珀斯（Don Peppers）和玛莎·罗杰斯（Martha Rogers）这样的思想领袖多年来一直在强调这些原则的好处。事实上，在佩珀斯和罗杰斯的书籍《极端信任：诚信作为竞争优势》（Portfolio）中，总体主题是“以你希望作为客户被对待的方式来对待客户”。

不幸的是，公司并不总是遵循这些原则。更令人震惊的是，几起最近的企业过失与消费者数据的不当使用有关。2018 年，Facebook 允许剑桥分析未经其同意使用数百万会员的个人数据进行定向政治广告。2019 年初，YouTube 的推荐引擎因使得恋童癖者更容易找到和分享与幼童相关的内容而受到严厉批评。更近期，Goldman Sachs 因其用于为 Apple Card 客户设定信用额度的算法存在明显的性别偏见而遭到指责。

那么，在州和联邦政府数据保护监管机构代替我们采取行动之前，我们如何改变支持有意和无意滥用消费者数据的基础实践？我认为，首先要加强对不当数据管理和鲁莽分析实践带来破坏性后果的意识。这应该从高等教育开始，并通过企业环境中的递归培训计划加以强化。

在分析行业工作了 25 年之后，现在作为全职教育工作者，我认为教育机构致力于开发和整合以鼓励和赋权学生使用道德和社会责任的数据收集和分析实践是至关重要的。我们必须：

教授学生如何实施保障措施，减少部署意外偏见的预测和机器学习算法的风险。
解释如何创建跨职能数据治理团队，以确保在决定收集、分析和用于驱动业务决策和 AI 解决方案的数据时考虑到多元化的观点。
说明使用性别、种族和社会经济地位等传统消费者细分方法通常会导致消费者被排除在外的情况有多少。
激励学生反思消费者数据的适当和不适当使用。

这些学习目标应成为每个数据科学和商业分析项目的核心和基本要素。

2017 年，《经济学人》发表了文章“世界上最有价值的资源不再是石油，而是数据”。我认为，如果我们不能向资源提供者——消费者——证明我们能够以负责任和增值的方式使用他们的数据，我们很快将失去这一令人难以置信的资源。

第八十三章：使用社会反馈循环来解决伦理问题

尼克·哈姆林

全球给予数据科学家

技术变革就是社会变革。随着数据中心技术的普及，如果公司希望在任何领域取得成功，就必须同时提出产品问题和社会影响问题。这些模糊的界限也意味着数据科学家必须强调他们扩展影响的伦理影响。虽然道德数据科学的誓言、检查表和实践社区至关重要，¹ 但这些构造忽略了一个关键组成部分：允许受影响社区的声音来指导产品决策的社会反馈循环。

“机械化”反馈循环，例如强化学习算法的结果通知未来的训练迭代，在数据科学中很常见。它们是技术构造，通过增强数据集的信号来实现更好的预测。相比之下，我们在这里关注的是“社会”反馈循环——强调社区用户声音的过程，这些声音的想法、关切和输入对有效解决伦理挑战至关重要。²

但是社会反馈循环很难！它们的细微差别使得分析变得耗时，并且它们经常包含矛盾的想法。当用户的反馈与公司的底线目标相冲突时，经济激励通常会获胜。没有倾听和开放适应转变的文化的组织将难以通过社会反馈循环解决伦理问题。社会反馈循环也可能排除那些没有时间、资源、言辞或自由公开谈论他们面临挑战的人的声音。³

然而，组织可以采取措施简化他们在社会反馈循环中的采纳，以帮助解答数据产品中的伦理问题。本文的其余部分涉及其中一些步骤。

建立基于价值观的包容和反馈方法

像“不作恶”或“快速行动，破坏事物”等口号可以帮助提供决策框架，⁴ 但它们没有足够强调开放性和包容性，以确保社会反馈循环能够蓬勃发展。为了明确这些优先事项，使用像“始终开放：我们相信伟大的想法的力量，并且这些想法可以随时来自任何人”和“倾听、行动、学习、重复：我们不断尝试，并使用数据和反馈来指导我们的方向。”等替代价值观。⁵ 设置反馈在他们核心价值观中的文化背景的公司更有可能成功。

将代表性的具体目标纳入产品成功标准中

大多数数据科学家知道，“被测量的东西才会被管理。” 在产品开发过程中包含未曾听到的声音绝非例外。承诺关键绩效指标（KPI）如“X%的新数据伦理政策基于我们社区的输入”有助于确保社会反馈得到优先考虑。凯瑟琳·迪格纳齐奥和劳伦·克莱恩在她们新书《数据女权主义》写作过程中设定的价值观和指标，为此方法提供了一个出色的例子。⁶ 他们指出他们试图避免的结构性不平等领域，并为确保他们放大的声音在他们产品决策过程的前沿设立了具体的目标。

关闭反馈循环

数据伦理学家安娜·劳伦·霍夫曼指出，研究人员“不应该在没有回报的情况下借用他们研究对象的生活和经历。”⁷ 在这种精神下，组织应通过明确向社区报告他们所说的内容、听到的内容以及随之而来的变化来关闭反馈循环。⁸ 重要的是，这并不意味着每一个个体的请求都会得到满足。相反，这凸显了用户的声音已经被听到，并确认代表他们真实意见，在经过深思熟虑的对话和合作后，在适当的时候被加入到产品中。良好的社会反馈循环采用与随机森林算法相同的方法，利用广泛且常常喧闹的各种不同组件来收敛于一个基础答案。

在数据科学中，社会反馈循环在应对伦理挑战方面的角色是明确的。另一种方式类似于露天采矿。公司可以为了利润而优化其产品，并暂时忽视其社区。然而，随着用户的声音仍未被听到，反弹势必会逐渐积聚。在这个阶段，响应这样的反馈，即使是出于善意，也可能显得虚伪。⁹ 相反，组织应接受技术与社会之间的现代联系，并建立必要的社会反馈循环，以可持续和伦理的方式来应对。我们的社区应当得到更好的对待。

¹ 迈克·劳基德斯、希拉里·梅森和 DJ·帕蒂尔（O’Reilly）合著的《伦理与数据科学》（O’Reilly）第一版描述了建立宣言、工作组和其他伦理框架的进展的几个例子。

² 感谢马克·马克斯迈斯特（https://chewychunks.wordpress.com）在区分反馈循环的两类方式中提供的重要帮助。

³ 这是一项有效实施具有挑战性的工作，但是像pluto.life这样的工具目前正在被创建，专门帮助解决调查中关于多样性、公平性和包容性问题，通过重构数据收集方式来实现这一目标。

⁴ Chad Storlie，“用指挥官意图管理不确定性”，哈佛商业评论，2010 年 11 月 3 日，https://oreil.ly/4DgeF。

⁵ 这是GlobalGiving的四大核心价值观之二，GlobalGiving 是全球最大的非营利组织众筹社区（也是本文作者目前的雇主）。

⁶ Catherine D’Ignazio 和 Lauren F. Klein，《数据女权主义》（剑桥，MA：MIT 出版社，2020 年），https://oreil.ly/bE9aB。

⁷ Anna Lauren Hoffmann，“数据暴力及其糟糕的工程选择如何损害社会”，Medium，2018 年 4 月 30 日，https://oreil.ly/vrNz6。

⁸ “LabStorm: 基于关系的反馈”，Feedback Labs，2017 年 10 月 20 日，https://oreil.ly/ZnxcJ。

⁹ 其中一个著名的例子是Facebook 所面临的批评，因为它试验性地操作用户的新闻推送，以引发情绪反应。

第八十四章：伦理 CRISP-DM：伦理数据科学开发框架

柯林·坎宁安

亚马逊网络服务数据科学家

良好的数据科学创造了一种超越冷漠、无色过程的人类感觉的幻觉。然而，模型的目标是单一的：做出以前最小化损失函数的决策（或者类似机械的东西）。因此，我们必须系统地强化在没有同情心的地方实施同情心和伦理。

跨行业标准数据挖掘过程，通常称为 CRISP-DM，在分析开发中广泛使用。CRISP-DM 的步骤包括：

业务理解
数据理解
数据准备
建模
评估
部署

尽管 CRISP-DM 是为数据挖掘开发的，但成功的数据科学项目无论是否有意无意地在某种程度上遵循这些程序。为了在处理数据时做出更加符合伦理的决策，我们可以通过在每个步骤考虑一个问题来增强这一过程。通过这样做，我们为进行数据科学创造了一个具体的伦理框架。

业务理解

这种解决方案可能的外部性是什么？ 每个成功的数据科学项目必须从理解问题以及其存在环境开始。这是定位项目成功的基础步骤，无论是在有效建模还是伦理方面，因为模型并不孤立存在。它可能有用户，但其结果也会影响其他人。花时间考虑解决方案的后果不仅可以节省时间，还可以防止灾难。积极与相关利益相关者进行明确讨论这些潜在后果是至关重要的。

数据理解

我的数据是否反映了不道德的偏见？ 潜藏在人类数据中的是样本人群的意识和潜意识偏见。这些明确和隐含的偏见值得写一篇独立的论文，但下面是每种偏见类型的例子：

微软的 Twitter 聊天机器人 Tay 在吸收有意针对它的侮辱性言论后开始发布反犹太主义言论。
招聘模型是在先前某一特定人口统计数据集中占据职位的招聘模式上进行训练的。

作为数据科学家，我们理解深入了解数据内容和模式的价值，但评估数据如何可能腐化模型同样至关重要。

数据准备

如何清洗具有偏见的数据？ 数据的完整性不可侵犯。然而，可以（而且有必要）清洗问题内容的数据，而不损害其完整性。在统计学家们暴动之前，请允许我解释。假设开发人员正在创建一个应用程序来预测支票欺诈。欺诈和真实支票之间的自然不平衡可能促使需要平衡数据集。下一个道德步骤可能是跨不同人群统计组平衡数据，以避免系统执行中可能出现的不平衡。否则，这种隐含的偏见可能在特定人群中生成更多的支票欺诈案例，再次被模型吸收，从而加剧偏见循环。这并非总是易事，就像词嵌入中的性别偏见示例。¹ 显式偏见应直接过滤。

建模

我的模型容易受外部影响吗？ 网络设计模式越来越受欢迎。让模型自由灵活地适应带来很大价值，但这样做也会重新引入前一步骤中消除的危险因素。在高风险情况下，监控和清理数据之前的数据准入至关重要。以微软为例，开发人员未能预见数据集中潜在偏见——在损害发生后才意识到 Tay 吸收到的冒犯内容。

评估与部署

我如何量化不道德的后果？ 负责任地部署模型需要监控和评估其在实际应用中的表现的指标。我们可以添加跟踪不道德外部影响的度量。例如，执法犯罪预测系统应跟踪其是否对某个社区过度执法，确保警务人员部署在不同人口统计区域时的平衡。模型的全部影响可能难以预测，因此定期重新评估模型非常重要，其中包括从与之互动的人群收集反馈。道德度量应当与效能度量一同突出展示。

情感共鸣无法量化；它缺乏严谨性和刚性。我们必须设法在我们提供的解决方案中印刻我们自己的道德指南。最终，我们要对我们交付的产品以及其后果负责。因此，在整个开发生命周期中，通过严格的反思制度，我们可以确保交付最大限度减少有害影响的道德模型。

¹ 出自 arXiv 的新兴技术，“如何通过向量空间数学揭示语言中的隐藏性别歧视”，麻省理工科技评论，2016 年 7 月 27 日。

第八十五章：应用计量经济学与数据科学中的伦理规则

史蒂文·C·迈尔斯

阿克伦大学经济学副教授

我已经教授应用计量经济学和数据分析伦理超过 20 年。但我很少使用“伦理”这个词，更多地是使用“数据怀疑”和其他表明行为道德的态度。

在过去的 20 年中，没有什么能像彼得·肯尼迪的《地下室里的犯罪：规则是什么？应用计量经济学的十诫》¹对我、我的课堂教学和数据分析伦理产生如此深远的影响。这篇文章也出现在他的《计量经济学指南》（Blackwell）中。²

自我阅读这篇论文的那一刻起，我就彻底改变了，并永远成为肯尼迪的信徒。我很幸运能在我的校园里招待他，他在那里谈到了计量经济学的滥用以及研究未能通过《经济教育杂志》编辑部审查的失败。例如，一篇文章因作者未承认分析中的问题而被拒绝，而作者们则无视了它，并且可能希望编辑没有注意到。诚实和透明地承认问题，即使作者们意识到但无法解决，有时已经足够，彼得会指出。隐藏一个过失表明其他数据伦理滥用。

我用了“道德”这个词，但肯尼迪没有，他更喜欢常用的“罪”和“犯罪”这些词。但重点已经被突出。当我在 1980 年在俄亥俄州立大学获得博士学位时，我在那里花了五年时间修习了九门不同的统计学和计量经济学课程。我从一些最优秀的教授那里学习了古典估计和推断，但几乎没有一天的教学是关于如何使用计算机，更不用说如何进行肯尼迪 20 年后称之为应用计量经济学道义义务的操作了。

肯尼迪说：“我认为，无论可教性如何，我们都有道德义务告知学生这些规则，并通过适当的作业，使他们社会化，使之成为他们进行实证工作时遵循的标准操作程序...[我]相信这些规则比教师们认为的更为重要，各个层次的学生都没有给予它们应有的尊重。”³ 我非常赞同，并一直努力忠实地遵守这些规则，教导我的学生和同事们也这样做。

如果不遵守肯尼迪在应用计量经济学中的规则，将带来伦理上的影响，如果不是直接的不道德行为。有意违反这些规则就是在处理数据时不道德的行为，或者至少存在风险。即使是无意中违反规则，也会导致本可避免的不良后果。

应用计量经济学的规则
第 1 条规则
第 2 条规则
第 3 条规则
第 4 条规则
第 5 条规则
第 6 条规则
第 7 条规则
第 8 条规则
第 9 条规则
第 10 条规则

在第 1 条规则中未能完全阐明问题是如此关键，以至于不花时间在问题、常识和经济理论解决方案上可能会导致研究中的严重缺陷。这可能导致违反第 2 条规则，即发现了错误问题的正确答案。如果你未能检查数据（第 4 条规则）、未能清理数据并提供必要的转换，或未能控制选择偏差，那么你将得到基于不现实假设的结果，并且这些结果会过度受到肮脏数据的影响。

Zvi Griliches 曾经说过，如果不是因为肮脏的数据，经济学家就不会有工作。如果你违反了第 7 条规则，并且知情或不知情地让数据欺骗你，会怎么样？用诺贝尔奖获得者罗纳德·科斯的话来说，“如果你折磨数据足够长的时间，它最终会招供。”⁴ 违反第 9 条规则可能会导致你崇拜 R2 或参与 p-值调整。它可能会导致你忽视一个巨大的经济含义（大幅度），仅仅因为它具有较大的 p 值。违反第 10 条规则可能是最为关键的。假设你认为你的模型来自上帝（正如苏珊·艾西所建议的），那么为什么你要查看替代规格或验证你发现的稳健性呢？

正如詹妮弗·刘易斯·普瑞斯特利在 2019 年的 LinkedIn 帖子中写道，“许多数据科学家做出不良决策——涉及伦理问题——不是因为他们有意图造成伤害，而是因为他们并不了解他们负责的算法实际上是如何运作的。”⁵ 同样，许多在应用计量经济学领域中忽视肯尼迪规则的人，冒着真正的危害风险，这并非出于有意，而是出于无知或忽视。这种后一种动机缺乏同样真实，可能比有意伤害更为普遍。

美国经济学会（AEA）已经采纳了行为准则道德守则，其中明确规定：“诚信要求在进行和呈现研究时保持诚实、小心和透明；客观评估思想；承认专业知识的局限性；并披露实际和感知的利益冲突。”⁶

AEA 声明没有直接涉及数据伦理，但这是一个启示，因为几乎没有经济研究——尤其是应用经济研究——可以在没有数据的情况下进行。 AEA 声明只是一个开始，但我建议那些从事应用经济研究的人应该遵守在地下室犯罪的规则。这一点现在非常重要，因为去地下室已经不再是常态，许多分析师应该尽量避免无论何时何地使用他们的笔记本电脑时犯罪。

¹ 彼得·E·肯尼迪，《地下室中的犯罪：什么是规则？应用计量经济学的十诫》，《经济调查杂志》第 16 卷，第 4 期（2002 年）：569–89，https://doi.org/10.1111/1467-6419.00179。

² 彼得·E·肯尼迪，《计量经济学指南》，第六版（马尔登，马萨诸塞州：布莱克韦尔，2008）。

³ Kennedy，《Sinning》，571–72。

⁴ 罗纳德·科斯，《论经济学与经济学家》（芝加哥：芝加哥大学出版社，1995）。

⁵ 另见詹妮弗·刘易斯·普里斯特利，《好与坏与诡异：为什么数据科学家需要理解伦理》（演讲，SAS 全球论坛，达拉斯，德克萨斯州，2019 年 4 月 28 日至 5 月 1 日）。

⁶ 美国经济学会，《AEA 专业行为守则》，2018 年 4 月 20 日通过，https://oreil.ly/_m4x-。

第八十六章：伦理只是适当社会行为的约束和准则吗？

比尔·施马尔佐

日立万达创新官员

当 Twitter 用于积极用途时，可以成为一个奇妙的分享和学习环境。例如，我的一个 Twitter 关注者在回应我的博客文章“AI 伦理挑战：理解被动与主动伦理”时发表了一个有趣的声明：“将伦理推理简化为效用函数，忽略了伦理在跨越不同情境和场景中提供的抽象水平。那么你不再有伦理，你只有约束。”

约束？有趣。或者换个角度说：伦理只是一套约束、规则和准则，指导人们在一个正常运作的社会中如何行动或行为？

虽然我觉得自己不够资格从一般社会的角度谈论伦理问题，但从人工智能的角度讨论伦理问题显然是我熟悉的领域，也应该是每个人的关注点。这意味着我们需要讨论AI 效用函数的创建。AI 效用函数包括指导 AI 模型行动和适应的约束、规则和准则。

在创建 AI 使能的自主实体——即做出决策、采取行动、学习并适应，几乎不需要人类干预的实体时——AI 效用函数的定义至关重要。AI 伦理的挑战在于定义和编码这些伦理（约束、规则和准则），将其编码成构成 AI 效用函数的数学公式，并驱动自主实体的运作。AI 效用函数必须理解这些伦理，以便采取最合适或“正确”的行动。如果我们要转向一个由 AI 使能的自主实体——如汽车、卡车等——组成的世界，那么我们必须精通将这些伦理编码成数学公式。

阿西莫夫的三大机器人定律伦理

艾萨克·阿西莫夫是一位美国作家，以其科幻作品闻名。在 1942 年的一篇短篇小说中，阿西莫夫首次提出了他的“三大机器人定律”，在这些定律中，机器人必须表现出适当的行为以确保社会的正常运作。这三大定律分别是：

第一定律

一个机器人不得伤害人类，也不得通过不作为使人类受到伤害。

第二定律

一个机器人必须服从人类的命令，除非这些命令与第一定律相冲突。

第三定律

一个机器人必须保护自己的存在，只要这种保护不与第一或第二定律相冲突。

我在博客文章“艾萨克·阿西莫夫：机器人学伦理的第四定律”中提出，我们可能需要制定第四定律。

在某些情况下，这些自主实体将被迫做出关于该拯救哪些人类、该杀害哪些人类的生死抉择，例如，自动驾驶车辆在救其乘客还是行人之间做出选择。艾萨克·阿西莫夫并没有预见到需要一项法律来管理这些情况，这并不是机器人生命与人类生命之间的辩论，而是在多个人类生命之间做出选择的问题！

已经进行了调查，以了解在自动驾驶汽车需要在拯救乘客和避免撞到行人之间做出生死抉择的情况下应该采取什么行动。文章“你的无人驾驶车是否愿意杀你以拯救他人的生命？”得出了以下结论：

在一项调查中，76%的人同意无人驾驶汽车应该牺牲其乘客，而不是撞向并杀死 10 名行人。他们也认同，将自动驾驶汽车以此方式编程是道德的：这样做可以最大程度地减少汽车造成的死亡。即使被问及想象自己或家人乘坐这种车辆的情况，这种观点依然存在。

然而，要稍等一下——虽然理论上有 76%的人倾向于救行人而不是乘客，但当事情牵涉到你的时候，情况就会改变！

当被问及是否愿意购买由这种道德算法控制的汽车时，人们的热情稍减。被调查者表示，他们更愿意购买为了保护自己而编程的汽车，而不是为了行人。换句话说，偶尔为了大局牺牲司机的无人驾驶车是个好主意，但只限于别人使用。

你能否回答这个谜题，蝙蝠侠：在这些生死抉择的情况下，无人驾驶车的“程序化”反应是否会影响你购买特定品牌无人驾驶汽车的决定？

另一项发表在《科学》期刊上的研究，“自动驾驶汽车的社会困境”，突出了自动驾驶汽车制造商面临的伦理困境。大约有 2,000 人参与了调查，大多数人认为自动驾驶汽车应该始终做出减少死亡人数的决策。另一方面，大多数人也表示，只有在自己的安全是优先考虑时，他们才会购买自动驾驶汽车。

我不确定我们是否希望个别公司或我们的政治领导人制定规则来指导这些生死抉择的规则。

如果不是他们，那又会是谁呢？

摘要

伦理道德是否仅仅是一套约束、规则和指导方针，用来规范一个正常运作社会中的人们如何行动或行为？

对于一些人来说，圣经可能是伦理道德的终极书籍。（我不能评论其他宗教书籍，比如《古兰经》、《旧约圣经》或《三藏经》，因为我没有接触过它们。）圣经充满了通过诫命、故事和寓言编码的约束、规则和指导原则，这些原则指导着正确的个人和社会行为。

如果我们能够创建约束、规则和指导原则——通过 AI 实用功能编码——来指导 AI 增强的自主实体的正确行动和行为，那么也许我们真的有机会实现这个 AI 的事情。我们只需要让社会中最有资格的领导者开始识别、验证、重视和优先考虑那些将构成 AI 实用功能的约束、规则和指导原则。

第八十七章：数据科学和人工智能的五个核心美德

Aaron Burciaga

HCL Technologies 全球运营总监，分析与人工智能

美德应当被数码化。随着我们迅速依赖机器处理越来越多的信息，以提供各种决策制定的认知支持，我们必须考虑如何赋予自动化过程、数据操作和推荐系统一些最优秀的人类美德感。

我们在人工智能领域面临道德决策的十字路口——我称之为美德的法则（或不）。我们要么解决历史偏见并依据公平数据和决策制定正义的标准，从而为种下一个更美好的世界的种子，要么放弃抛弃时代久远的社会规范和商业实践，这些实践与有德智能、独立肉体或硅有关。

古希腊哲学家 Epictetus 说过，“一个人无法学到他们认为自己已经知道的东西。”这在人工智能领域尤为重要，因为系统或创建系统的人必须思考、有条理地、明确地嵌入算法。机器无法自行完成这一点。

这一直是我不得不在领导的项目中解决的常见缺点，在我开发的程序和团队中，以及我团队提供的解决方案中，我现在将明确列出“quants”记住的五个要点（这是我广泛使用的术语，包括数据科学家、AI 工程师、机器学习工程师、数据挖掘者、统计学家和具有相关技能的人）。

我认为“五个核心美德”应当像 AI 所明确规定的那样被数量人士明确地实践——我们必须把这些看作是既有吸引力又有必要性的软技能和技术术语，无论是对数量还是人工智能都是如此。

1. 韧性

无论是数量还是人工智能：

适应情况并迅速恢复。
通过实验设计工程师的条件和探索完整的解决方案空间和可行的情景。
考虑到地方约束的影响，并克服这些条件以减少过早停止的可能性。

2. 谦逊

无论是数量还是人工智能：

承担结果的责任。
持续学习并通过强化学习进行调整。
认识并设计能够欣赏到多少可知或可控的结果。

3. 坚韧

无论是数量还是人工智能：

避免陷入对问题的钦佩或专注于开发最智能的解决方案。
着迷于以新颖创新的方式高效地完成任务。
提供可审计和可解释的结果。

4. 广泛教育

无论是数量还是人工智能：

欢迎并处理复杂性、多样性和变化。
批判性地审视机会或业务问题，充分分析数据并考虑制定解决方案的可行方法。
通过开发对社会有益且负责任的解决方案的文档，清晰、干净和合理地沟通。

5. 情感共鸣

Both the quant and the AI:

认识和考虑社会影响以及他人的感受。
基于感知、洞察、理解和同情发展客观函数或约束条件。
确定与“更高目标”或意识的相互依赖和直接联系。

结论

我在这里提到的点，将量化和人工智能与每一种美德联系在一起，旨在既简洁又具有挑衅性和开放性。我明确在每种美德后面加了“Both the quant and the AI”，是为了鼓励我们考虑到解决方案不仅是作者的责任，也是仿效坚韧、谦逊、毅力、通识教育和情感共鸣等属性的责任。

人工智能将解放人类思维，但不应成为思想或美德的借口。

我们无法承受或冒险一个人工智能充斥我们鄙视的所有美德的世界——让我们相反有意识地发展它，以及我们自己，带着我们所钦佩的所有美德。

第七部分：案例研究

本节包含了一些具体的例子，展示了道德考量出现的情况。从汽车保险到预测式执法和自主武器，这些案例帮助使书中讨论的更广泛的概念更具体化。

第八十八章：汽车保险：当数据科学和商业模型交汇时

Edward Vandenberg

商业顾问，Teradata

汽车保险的商业模型（因此大多数大型保险公司的商业模式）正在发生 drastcally 的变化。看起来每个月都会有一项创新被宣布，最终会使我们所有人都在无人驾驶汽车中环游，永不发生事故，永不暴露于天气之中。但是，云正在聚集。承保风险的极端个性化及因此收取的保费可能对每个人来说都不公平和不道德。

当事故发生时，人们和社会依赖保险的财务支持来支付损害和伤害的费用（是的，事故和与天气有关的损害仍会发生）。今天的工作方式（以简化的方式来看）是保险公司为不同类型的驾驶员和车辆创建具有通用评级的政策。承保和评级旨在分散风险。这意味着很多驾驶员会支付更多的钱来覆盖那些发生事故的少数人。当你永远不知道哪个司机会发生事故时，这似乎是适当的。

但是，过去大约 10 年来，行业发展的方向是朝着能够预测事故发生频率和严重程度以及哪些特定驾驶员可能会发生事故，或者至少是越来越小的类似驾驶员群体的个人费率，AI、机器学习和大量数据在推动这一变化。考虑到基于使用的保险或“UBI”，由远程技术支持。再次，这种情况是由 AI 相关创新的各种技术和数据所支持的。

个人汽车保险应用 AI 技术存在两个主要问题：（1）数据可能简单地错误（实际上，有些数据很可能在某些时候是错误的）；（2）分析师在考虑历史数据进行评估时必须做出很多选择，其中一些选择会导致数据被错误解释。人类偏见影响着可以影响人们是否负担得起汽车保险以及是否合法驾驶的费率混合。

驾驶往往是谋生和照顾家庭的必要条件。对于一些人来说，汽车保险费用可能比租金还要高，而保费占据了经济较低阶层收入的更大比例，他们很可能最依赖自己的车辆。

虽然我们希望保险能够公平地反映我们个人的风险，但纯粹基于使用的保险应用非常细致可能在社会上不是一个好主意。因此，尽管 AI 浪潮使得汽车保险极端个性化成为可能，但公司和监管机构必须确定“个人”风险水平和“共享”风险水平对我们所有人来说是有意义的水平。

至于数据的整理和处理以及嘈杂和解释性数据的公平性，当这些数据被整理时，必须有人“戴上”数据伦理学家的帽子。而且这个人必须有权力决定数据的解释方式或者是否应该使用这些数据。

尽管 AI 助力的保险行业充满了刺激和对整个社会有益的因素，但必须由那些经过正式培训、在数据使用伦理方面有智慧的分析师来引导和调和，同时也需要那些明智的高管和监管者来决定如何最公平地利用这项令人惊叹的技术。

第八十九章：为了对抗预测性执法中的偏见，正义不应该视而不见

Eric Siegel

创始人，预测分析世界

犯罪预测模型陷入了一种争议不断的泥潭，因为它们本身无法实现种族公平。这是一个本质上无法解决的问题。事实证明，尽管这些模型在同等精度下成功地标记（即分配更高的概率给）黑人和白人被告，但由于这样做，它们也更经常错误地标记黑人被告而不是白人[¹]。

然而，尽管存在这种看似矛盾的困境，我们正目睹一个前所未有的机会，通过改变预测性执法的方式来积极促进社会公正，而不是 passively reinforcing 今天的不公平现象。

预测性执法引入了数量化元素，用来权衡由人类做出的重要执法决策，比如是否进行调查或拘留、设置多长的刑期以及是否假释。在做出这些决定时，法官和执法人员会考虑到嫌疑人或被告未来可能被定罪的计算概率。计算这些预测概率的工作由预测建模（又称机器学习）软件来完成。它会自动地通过整理历史定罪记录来建立模式，而这些模式组合起来就形成了一个预测模型，用来计算那些未来尚不明朗的个体的概率。

尽管“色盲”，犯罪预测模型却对各种族有所区别对待。通常情况下，这些模型在计算时并没有明确地考虑种族或任何受保护的类别（我在本书的第五部分中详细介绍了这一政策的明显例外，即“明显歧视性算法“）。尽管如此，黑人被告比白人更频繁地被标记为高风险。

这种不平等现象直接源于我们所生活的种族失衡的世界。例如，被告的前科数量是预测模型的标准输入之一，因为有前科的被告比没有前科的被告更有可能在释放后再次犯罪。由于更多黑人被告有前科记录，这意味着预测模型更频繁地标记黑人被告而不是白人。一个黑人被告并没有因为种族而被标记，但却更有可能被标记。

然而，今天的激烈争论并不是关于这种更高的标记率，而是关于更高的错误标记率。预测模型错误地标记那些不会再犯的黑人被告比他们错误地标记白人被告更频繁。在关于预测性执法偏见最广泛引用的文章中，ProPublica 报告称，全国使用的 COMPAS 模型错误地标记白人被告的比例为 23.5%，黑人被告的比例为 44.9%。换句话说，不应该被标记的黑人被告几乎是白人的两倍被错误标记。

与此相反，支持 COMPAS 的人反驳说，每个标记对两个种族都是同样合理的。回应 ProPublica，COMPAS 的创造者指出，在被标记为高风险的人群中，被错误标记的比例在黑人和白人被告中是相似的：分别为 37%和 41%。换句话说，在被标记的被告中，COMPAS 对白人和黑人被告的错误率是相同的。其他数据科学家也同意，这符合无偏见模型的标准。

每个个体的标记似乎在种族上是公平的，但虚假标记的总体率并非如此。尽管这两种说法可能似乎相互矛盾，但它们都是正确的：

如果你被标记，不管种族如何，应该是理所当然的。
如果你不应该被标记，如果你是黑人，你更有可能被错误标记。

谁是对的？一方面，所有的标记似乎都同样值得。对于被指定更高概率的被告，无论是白人还是黑人被告，随后的起诉率都是一样的。另一方面，在那些不会再犯的被告中，黑人面临更高的虚假标记风险。更细腻的立场声称，要解决这个问题，我们必须就公平的定义达成一致。

但与其就模型是否“有偏见”争论不休，更明智的解决方法是就对抗种族不平等的措施达成一致。对“有偏见”一词的争论让人分心，而不是仅仅评估模型是否加剧了种族不公正，让我们增强预测性执法，积极减少不公正。这种看似矛盾的现象揭示了当今种族不平等的一个通常隐藏的症状：如果预测标记被校准为对两个群体同样精确，那么鉴于黑人被告总体重新犯率更高，该群体就会遭受更多虚假标记的影响。

这真是一个惊人的不平等现象。对于任何种族的被告人来说，被标记意味着承受着标记可能是虚假的重大风险。这可能导致额外的监禁年限，而被监禁的被告人失去了证明未来不会犯罪的自由（因为他们无法证明这是有根据的）。对于黑人群体而言，比白人更频繁地承受这种风险更是雪上加霜：不仅黑人更有可能成为被告人，而且黑人被告因虚假预测未来犯罪更有可能被判额外监禁年限。

为了解决这个问题，让我们教育和指导执法决策者了解这种观察到的不平等。培训法官、假释委员会和警官了解在他们获得计算出的黑人嫌疑人、被告或罪犯将会重新犯罪的概率时的相关警告。通过这样做，赋予这些决策者将这些考量纳入他们的决策过程中的能力。

在处理重新犯罪概率时需要反思的三个关键考虑因素是：

你所关注的概率受到被告人种族的影响，通过替代者。

虽然种族并非公式的直接输入因素，但该模型可能会包含非自愿的因素，这些因素近似种族，如家庭背景、社区（“你所在社区的犯罪率如何？”）、教育水平（仅部分选择），以及家人和朋友的行为。

由于有偏见的基本事实，这些概率对黑人被告人不利。

由于黑人更常被调查、逮捕，因此更频繁地被定罪，尽管犯下同样罪行的白人，模型性能的测量不揭示黑人被告更频繁地受到不公平标记的程度。

黑人群体深受虚假标记之苦。

将这一系统问题纳入考虑有助于更大的利益。承认这一问题提供了一个机会，以帮助补偿过去和现在的种族不公正和随之而来的剥夺周期。这正是预测性执法可以缓解这些循环模式而不是无意中放大它们的地方。

预测犯罪模型本身必须从设计上保持无色彩的，但我们如何在上下文中解释和应用它们则不能保持如此。以这种方式重新引入种族是从简单地检测预测模型的种族偏见转向积极设计预测性执法，以促进种族正义的唯一手段。

¹ 本文中许多具体细节的参考资料可以在埃里克·西格尔的文章“如何用预测性执法对抗偏见”中找到，Voices（博客），科学美国人，2018 年 2 月 19 日，https://oreil.ly/OT6py。

第九十章：何时对数据说不

罗伯特·J·阿贝特

全球 ID 公司副总裁兼首席数据官

在我担任一家大型零售商的总监期间，我们开始建立一个数据湖，收集了所有可收集的信息（企业内部和外部），以便全面了解客户（用于营销和其他目的）。这将成为一个庞大的数据集，包括客户数据、联合销售数据、购物车信息、营销（促销）数据、人口统计学数据（来自美国人口普查局）、店铺位置、天气等等。

这个数据湖将包含有关谁（购物者）、什么（产品）、在哪里（位置）、何时（时间）、如何（交易类型）和为什么（诸如天气、股市、周围店铺位置的收入等的外部数据）的信息。它的主要用途将是支持数据 CAFÉ 内的可视化（企业协作分析设施）。数据 CAFÉ 被设计为，高管们可以进入这个带有 9 个大屏幕显示信息的房间，并实时做出关键业务决策（例如，东海岸的黑色星期五销售活动允许管理层根据实时反馈调整山区和西海岸的分销）。

在数据 CAFÉ 内部，我们会对数据进行切片和切块，以便可以创建带有过滤器的可视化内容（特定店铺、州、地区等），然后通过将这个视图推送到不同的屏幕或维度（例如，从时间到产品），高管可以看到某些是否是地方趋势还是更大的趋势。我们创造了“阿基米德的可视化”这个术语（因为阿基米德被认为是古代经典时期的顶尖科学家之一）。

想象一下，你可以为特定位置（店铺）可视化信息，然后转移到更高的组织层次（本地市场、州、区分），最终达到全球。现在考虑一下，当你使用这些过滤器查看时，你可以轻松地将这些过滤器移动到另一台显示器上，以查看何时（时间）、谁（消费者）或什么（产品）。高管们将能够根据他们的市场经验找到自己的趋势，并且还能通过数据驱动的决策获得优势。

随着数据整合工作逐渐成熟，我们很快意识到这些信息可以用来获取有关个人或家庭非常敏感的信息，具体来说，就是了解邻居在我们店里购买了什么。当数据工程师和数据科学家被允许访问该数据集进行分析时，这一问题立即被认定为数据伦理的问题。如果不对数据湖施加一定的控制，这可能很快演变成一种责任。

为了解决这个问题，我们决定制定一套规则，限制从查询中返回数据湖的数据集：

不允许返回少于 30 个结果的任何查询（因为在中西部，小镇可能只有 10 个人口，因此结果集可能是确定性的）。
不允许按姓名、地址、电话号码或任何其他个人可识别信息（PII），如忠诚度标识符、IP 地址等进行查询。
不支持跟踪唯一个人或家庭的数据或模式的任何查询（以防止绕过有限结果集限制）。
所有查询都将被保存，以便如果我们发现有道德违规行为，我们可以在未来阻止它们，并与查询所有者讨论此类询问的原因（以防确实有真正的原因，但结果集被认为是不合适的情况下）。

随着时间的推移，我们非常惊讶地发现，许多尝试访问个人数据的企图，其中一些采用了非常创新的方法，包括多级查询和联合结果集。从一开始，我们就非常清楚，这个数据湖将用于发现趋势，并确定如何改进购物篮，但我们并不明白为什么会发生这种情况。

后来调查发现，许多尝试实际上是查询设计中的错误，导致结果集较小。很少数的是故意的，这是在我们审查了所有可疑查询的整个群体后得出的结论。我们注意到数据工程师和科学家们大多表现出了道德行为，这并不令人惊讶，因为公司的文化是信任和个人责任的体现。

从这个数据湖中学到了许多东西，包括以下有趣的观察（仅供您的观看享受）：

购物车中最常见的商品包括水果（香蕉、草莓）、汽油、水、面包和烤鸡。
购物者可以被分为不同的类别，但他们的浏览行为是相似的。
天气对购物的影响与假设相矛盾，认为它会在这段时间内导致更多销售。
将商品放在显眼的位置会稍微增加它们的销售额。
购物者会优先选择特价商品，而不是他们自己的品牌选择。

第九十一章：伦理悖论的悖论

鲍勃·格拉登

高标健康企业分析副总裁

数据和分析伦理是一个关键领域，幸运的是，它正在得到越来越多的关注。从多次展示忽视数据管护责任以达成公司目标的数据聚合公司，到侵犯个人隐私以造福更大社会利益的流行病方法，伦理悖论似乎无处不在。

一些科技公司认真考虑了数据和分析伦理的概念。其他公司公开展示创建数据伦理委员会，却违反了其自身数据伦理准则的条款。很少有公开的例子为数据和分析伦理铺平道路。似乎成年人都已离席。

说句公道话，组织经常面临可以在领导人看来被视为伦理悖论的伦理选择。但它们真的是吗？让我们考虑一个简单的例子：二月初，一位教堂财务主管收到牧师的一份请求，请求一笔大额捐款。作为接受礼物的条件，牧师要求财务主管代表捐赠者，将正式承认礼物的信函日期回溯到前一年的十二月。当面对质疑时，牧师称他认为这是伦理困境。选择是为了教堂获得更多资金以开展善工，还是捐赠者因为所有人都“捏造”了时间而获得更低的税单。

这不是一个伦理悖论，尽管牧师已经说服自己是。这不是在两个截然对立的伦理适当决定之间的选择。是的，这些资金本来会帮助教堂。但是接受这份礼物，无论我们多么不喜欢国税局，都是明显违反税法的。事实上，如果被发现（鉴于书面记录，这将很容易），可能会导致处罚，包括教堂失去非营利性地位。

每天都有企业领导面临同样类型的虚伪伦理悖论。大多数情况下会做出正确的决定。但也有太多例子表明思维变得混乱，决策者制造了一个不存在的悖论。

实际伦理挑战的例子包括：

一个健康保健支付者建立了一个基于其业务的研究社区贡献功能。一项研究强烈表明，更高的 CAP 分数（NCQA [全国质量保证委员会] 衡量客户健康计划满意度的指标）与承担更高风险负担的会员直接相关（更高的响应率和高满意度直接关联到健康保健服务的增加使用）。因此，该研究未公开发表，避免公众对该计划高满意度分数的审查。
在一个健康组织内的一个项目将消费者数据输入模型，评估患者的风险基于他们的购买习惯。这可能是数据用于善良的一个例子——医生拥有他们可以使用的信息，以帮助指导患者的护理，基于他们的食品购买。然而，同样的信息，如果由健康计划收集，可以用来调整未来的保费，甚至将产品定价到该成员/群体无法承受的程度，作为健康计划为摆脱高风险客户而采取的手段。
为了改善与哮喘相关的 HEDIS 指标，一个健康计划开始了一个项目，针对 HEDIS 分母中被归类为哮喘的每个人（根据 NCQA 定义），给予特定的药物（控制剂），尽管有很多成员因为一种有争议的方法论而被误判为阳性。由于对更高质量分数的担忧，这个努力继续推进，包括那些误判为阳性的成员，理由是不必要的处方“不会对他们造成伤害”。

这些都是相对简单的例子……而悖论根本不是悖论。这是在自私和被模糊成“对组织来说正确的事情”之间的选择，以及看似显而易见的伦理行动。如果组织今天在这些选择上感到困惑，那么由于人工智能引入的挑战将把这提升到一个更加复杂的谈话层面。正如尤瓦尔·赫拉利所指出的，“人类在发明工具方面总是远比明智地使用它们更擅长。”

这不应该被看作是某个站在道德高地上的人的胡言乱语。这是基本的事情。无论是在职业上还是个人生活中，道德行为都是文明社会的基石。然而，当今的伦理观念在各处受到攻击，虚假被塑造成“事实”，以转移注意力并达到某些人眼中的“更大利益”。在组织心灵深处精心融入伦理行为准则是解决这些虚假悖论的一个很好的开端。我们都可以做得更好……

第九十二章：为 LAWS 奠定基础

Stephanie Seward

同事，Booz Allen Hamilton¹

AI 技术的进步引发了对禁止致命自主武器系统（LAWS）的正当呼吁。全球各国政府对这些呼吁沉默以对。当国家、治理方法和生命岌岌可危时，领导者们会采取极端措施以确保生存并保护其公民。在未来的战争中，LAWS 快速评估和参与目标的能力将为拥有最先进技术并愿意使用的国家提供决定性优势。在战争中，获胜所需的技术必定占据主导地位。考虑到这些鲜明的现实，AI 机器需要多大程度的确证才能自主参与或通知重要决策？以下是从业者可用来决定在自主系统中给予多少自由度的方法论。

性能期望方法（PEM）

在一组数据上训练并在另一组数据上测试的模型具有准确性的基准指标，可能不代表真实场景。PEM 旨在以代表真实场景的方式测试 LAWS，并应作为 LAWS 在独立决策前必须通过的测试要求的基准。就像一名在医学院期间表现优异的医生仍需完成住院医师培训一样，LAWS 也应经历严格的试用期。

PEM 由两个组成部分组成：测试环境（TE）和输出准确性度量（OAM）。TE 旨在模拟真实场景。例如，用于识别敌方火炮的 LAWS 可以在包含友军和敌军装备、试验假人及其他非敌方火炮物体的 TE 中进行测试。LAWS 在正确识别目标方面的性能即为 OAM。

此外，在决策过程中，LAWS 训练中的 TE 必须部署到类似的环境中。例如，完成 PEM 的沙漠 TE 中的 LAWS 必须在完成 PEM 后部署到沙漠环境中。如果同一台 LAWS 在 PEM 后部署到森林环境中，可能由于环境偏差而导致精度下降，需要重新评估其性能。

PEM 期间的 LAWS 性能

考虑这样一个场景，即正在进行 PEM 的火炮识别 LAWS 获得了 99.9%的 OAM；在 1000 个目标中，系统正确地将 999 个识别为敌方火炮或非敌方火炮。要求 LAWS 参与标准化的 PEM 使数据科学家能够识别和确定 LAWS 在识别方面的优势和劣势，并确定 LAWS 在部署前必须表现得多好。在这种情况下，LAWS 的准确率为 99.9%，但它有 0.1%的时间将友方火炮误认为敌方火炮。0.1%的混淆水平是否指导了 PEM 的成功完成标准？当 LAWS 可能犯下友军误伤时，应该部署它吗？如果同一 LAWS 将敌方火炮错误地识别为敌方坦克 0.1%的时间，那是否更可接受？也许这同一 LAWS 的准确率超过了人类。是否可以部署它？

这些问题的答案与当前的战争法律和国家参与的战争水平相一致。例如，在全面战争中，PEM 的标准可能较低，因为潜在的附带损害被继续战争中失去的生命所超越。在反恐怖主义场景中，也许 PEM 的 OAM 要求和 TE 条件要高得多，否则 LAWS 将完全被禁止使用，因为即使微小的不准确性风险也可能产生深远的战略影响。PEM 是一种方法，使各国有机会制定政策，以确保 LAWS 尽可能以道德方式使用。

PEM：持续和循环

PEM 要求在国际范围内实施额外的可执行标准。此外，PEM 仅确定 LAWS 是否最初可部署。必须定期监控 LAWS 以确保持续准确性，否则它们可能会被“撤出生产线”，并使用 PEM 重新测试。已经进行模型重新训练的 LAWS 在部署之前也必须在 PEM 下重新认证，以确保持续性能。

PEM 的扩展

PEM 适用于各种情境。随着人工智能系统的持续进入和改善生活，必须确保 AI 系统在其使用意图基础上的成功度量标准贯穿整个生命周期。

¹ 本文中表达的观点是作者个人的观点，不代表 Booz Allen Hamilton 的观点。

第九十三章：一位终身市场分析师对消费者数据隐私的看法

迈克·麦奎尔

Babson 学院教员

在今天的商业环境中，越来越多的公司正在采用以顾客为中心的业务实践。根据营销和顾客体验专家唐·佩珀斯和玛莎·罗杰斯的说法，他们是《管理客户体验和关系》（Wiley）一书的作者，一个以顾客为中心的企业确保顾客处于企业的哲学、运营和理念的中心。

从我的角度来看，这些以顾客为中心的实践为消费者和企业都带来了好处。消费者受益于公司设立流程来倾听他们的需求，并使用分析和洞察驱动的方法来修改其业务运营，以提高整体客户体验。企业通过实施以顾客为中心的实践，在建立消费者信任、价值和品牌忠诚度方面受益，并获得更多的消费者拥护者。我将再次引用唐·佩珀斯和玛莎·罗杰斯的观点，突出顾客为中心的企业的一些核心特征：

他们与顾客合作。
他们使用互动通信确定个体需求。
他们区分顾客，以更相关、定制的方式与消费者互动。

顾客为中心的这些核心特征的基础主题是：消费者数据隐私。

由于与消费者的互动沟通而产生的消费者数据和反馈是推动企业采用和实施创新顾客为中心实践的动力。 没有这些数据，企业将对消费者的不断变化的行为、偏好和需求一无所知。

因此，所有企业，无论是否以顾客为中心，都必须纳入鼓励消费者将这些顾客数据流入企业的消费者数据收集实践。数据收集和使用实践需要对消费者完全透明。这些实践需要防止数据泄露，并让消费者在企业收集、存储、使用和分享个人信息方面拥有更大的控制权。如果没有这一点，就会出现更多类似剑桥分析公司滥用 Facebook 会员数据进行政治活动的案例，继续侵蚀消费者信心，并推进公司不能被信任保护消费者数据私密和安全的看法。

我也认为，营销人员在使用数据和洞察与消费者沟通时需要非常审慎。他们需要站在消费者的角度思考问题。你是否喜欢通过 Facebook Messenger 被重新定位广告提醒你在在线零售商购物车中放弃的商品？也许，如果重新定位消息附带了诱人的优惠，您会喜欢。关键在于，一些消费者会接受重新定位的策略，而另一些则会觉得这些策略过于侵入和令人不适，通过转而去其他商店表达他们的不满。如果企业想要真正改善客户体验，他们需要找到让所有客户群体都能舒适接受数据使用方式的解决方案。

欧盟在监管消费者数据隐私方面有其独特的做法。自 2018 年 5 月起，所有与欧盟公民进行业务往来的零售商必须遵守欧盟的GDPR法律。这些法律为该地区设定了新的数据隐私标准，并赋予消费者对企业收集的个人数据拥有更大的访问和控制权。2019 年 1 月，法国监管机构对谷歌实施了 GDPR 的首个重大违规处罚，指控这家科技巨头强迫消费者同意收集其个人信息的行为。也就是说，消费者如果不同意谷歌的数据收集行为，就无法完全访问某些谷歌应用程序。这对于谷歌来说可谓是形象受损，对于那些实施负责任数据收集实践并依赖这些数据运营其以客户为中心的业务的公司来说，又是另一起可能有害的事件。

同样此外，近在咫尺，加利福尼亚消费者隐私法案于 2020 年 1 月生效，赋予加州居民对个人信息的收集和使用拥有更大的控制权。这表明，如果美国企业不能自我监管负责的消费者数据收集和使用行为，州和联邦机构最终将代替他们进行监管。

管理的数据保护对消费者来说可能是双刃剑。确实，了解更严格的数据保护措施已被实施和执行，能让人安心。然而，如果规定过于繁琐和限制性，企业将很快失去与消费者行为、需求和声音保持联系的能力，这将阻碍实施以客户为中心的商业实践，从而惠及所有消费者。

作为在市场营销和数据分析领域工作了 30 年的从业者，我理解负责任的数据收集和分析对消费者和企业双方的重要价值。现在是时候让所有企业评估自己的数据隐私和使用政策，并在必要时进行更改，以便我们可以重新赢得消费者的信任。

第九十四章：100% 转化率：乌托邦还是反乌托邦？

戴夫·切里

樱桃咨询有限责任公司执行战略顾问

这是零售业的一个光明的一天，转化率再次惊人地达到了 100%。¹

营销再次提供了超个性化的优惠。这些优惠不仅对每位顾客独特，而且还能根据每位顾客在接收时的具体心态进行上下文敏感性的调整。每位顾客收到优惠时的反应完全一致：“我要！”

商品管理在每家店铺和履行中心都拥有了完美数量的库存。因此，无论顾客想在哪里完成交易，产品都有库存。为了履行缺货商品而产生的额外运输成本已经成为过去。

库存过剩、清仓和退货已经不存在。IT 移除了网站上的清仓部分，店铺运营也取消了处理退货和红线标记的工时。每一笔交易都是高效的，运营成本前所未有地降低。

财务规划和分析继续保持完美的预测准确性记录，准确命中单位、利润和收入目标。股价飙升，激励补偿目标超额完成。

首席分析官以从交易、忠诚度和社交媒体中收集和存储的客户数据量为豪，以及利用面部识别追踪店内顾客的访问、停留时间和情感的新视频分析能力。这些信息为先进的机器学习模型提供了数据，能够精确预测每位顾客会以什么价格、通过哪个渠道和何时购买。这些预测惊人地准确。

星期一早晨的混乱已成为过去。领导们花时间创造性地制定未来季节的计划，而不是苦苦寻找销售未达预期的根本原因。定价具有竞争力、攻击性和完美性，打败竞争对手并实现了利润率。

那么顾客们呢？他们满意吗？这取决于你问的是哪个顾客。

第一位顾客感到非常满意。“他们了解我——有时比我自己还了解，”她说。“他们提供给我的每一样东西都很有效。价格总是我认为公道的，并且他们总是有我的尺码库存。颜色和款式完美地符合我的现有衣橱和风格。事实上，我刚刚在评论中提到需要新靴子时，他们就给我展示了完美的一双！”她甚至喊道，“这简直是乌托邦！”

第二位顾客感到愤怒和怀疑。“我不喜欢他们追踪我的信息有多么频繁。每次购买都需要提供我的电子邮件地址或电话号码。即使我在网站上浏览，他们也在追踪我。甚至看起来他们追踪我的社交媒体活动和对话——不然他们怎么知道我昨晚和我配偶讨论的内容，并且今天给我发送相关优惠？而且谁知道他们对我的信息做了什么，或者他们将其出售给了谁！”她抱怨说：“这简直是个反乌托邦！”

那零售商呢？他们的做法有效吗？符合伦理吗？这还得看你问的是谁。

如果你认同任一位顾客的评价，你的看法可能已经定型了。但对于那些尚未决定的人来说，这里有一些值得考虑的东西。

技术能力的提升使得收集、追踪和分析人口统计、交易和行为客户数据的门槛提高了。零售商不再可以市场上推广不完全符合顾客需求的产品——无论是尺寸、价格还是风格。如果期望值提升，只有最优秀的零售商才能生存下去，并且顾客体验的服务和质量水平也会提高。

应该要求零售商必须得到每位顾客的批准才能使用他们的信息吗？这样做肯定会增加成本，并在最低限度上在时效性和分析模型的效果上造成显著的低效，而且还可能降低这些模型的准确性。如果这样的话，也许零售商和顾客都会失去。

但如果零售商能够有效地收集、追踪、分析和保护这些数据，顾客将受益。

与其经历类似反乌托邦般的痛苦和不公正的场景，顾客将体验到更为理想的状态：少些优惠，更多相关性，以及更好的产品、服务和质量。虽然完全实现 100%的转化最终可能不切实际，但为了这个目标而努力，可能会实现顾客和零售商都追求的接近完美的乌托邦体验。

¹ 这个开头语摘自乔治·奥威尔的《1984》（Harcourt, Brace），原文是：“四月里的一天，钟声敲响时正是明媚而寒冷的天气。”

第九十五章：哈佛的随机选择？

彼得·布鲁斯

统计学教育研究所创始人，Statistics.com

一家 Elder Research 公司

算法伦理是当前的热门话题。通常，讨论集中在统计或机器学习算法可能存在的无意识偏见及其在选择、评分、评级或排名人员时可能造成的危害上。例如，信用评分算法可能包含与种族高度相关的预测因子，这可能导致种族偏见的决策。

然而，也存在相反的情况。运用人类裁量判断来录取高度选择性大学的学生充满了争议和偏见的指控。这里提出了一个简单的统计选择技术，以确保多样性而避免偏见。最好以哈佛大学及其录取流程引起争议的法院案例来说明。

“一个可能会来到我们身边的艺术收藏品……”

对于哈佛的入学，每接受一名学生就有 19 个申请被拒绝，这看起来像是登月一般难以实现。一个学生在申请哈佛时家族的艺术收藏品成为了他的优势。大捐赠者或潜在捐赠者在他们的孩子申请哈佛、普林斯顿或数百所大学时具有优势是公开的秘密。然而，看到如此直言不讳的真相还是很不寻常的——“艺术收藏品”的提及来自哈佛录取主任的一封电子邮件，该邮件在亚裔美国人因哈佛歧视而提起的诉讼中被公开。

大额捐赠只是通往哈佛的一条快速通道。显然，体育也是其中之一。来自农村地区也有帮助。录取官员有很大的裁量权，他们大部分用于服务于种族多样性。但是，如果偏向某个族裔群体的话，这不可避免地会偏向另一个群体，并且目前实践的多样性追求直接违反了反歧视法律禁令。

另一种方式

哈佛和类似的机构依赖人类判断来支持一组群体而不是另一组，这可能使他们难以抵御偏见指控。一个简单的想法可以解脱哈佛大学的平权行动困境，同时促进多样性：通过随机抽签选择学生，这是消除偏见并确保平等代表性的历史悠久的统计技术。

可以设立最低的资格门槛，并且池子里的申请人可以是那些被认为有学术成功能力的申请人。根据审判证据，远远超过被录取人数的大量申请人符合这一标准（校友和捐赠者的子女录取率是正常录取率的六倍，而哈佛说他们表现不错）。可以保留对传统、体育等的偏爱，但如果偏向太大，可能会损害这种建议的新方法的认为有效性。

一个关键的调整将确保所有方面的多样性，而不仅仅是种族：从每个邮政编码区域根据人口选择申请人。父母有能力和动力推动子女参加丰富的大学前活动以提高入学机会的申请人将不再占据优势。

在分层抽样中，被抽样的人群被分成分层以便充分代表感兴趣的群体。地理分层如何运作？

用地理分层随机选择

新的入学算法可以像这样运作：

将国家划分为人口均等的区域（为了论证方便使用邮政编码）。
确定将接受多少申请人，并将分配均匀地分配给各区域。
设定最低资格标准（使用数值标准如 SAT 分数和平均成绩）。
从每个区域中平等选取申请人，从那些超过资格门槛的申请人中随机选择，并且保持在区域允许范围内。

这将如何确保多样性？在当前基于判断的系统中，哈佛考虑除了纯智力以外的个人和社会特征——参与课外活动、富有魅力的个性、面试表现等。富裕的郊区社区中的学生更多地吸收了这种面向大学的氛围，而不像那些来自贫困地区（无论是城市还是农村），在那里上大学并不是常态。如果哈佛根据人口从所有地理区域随机选择，它将必然获得一个多样化的学生群体，因为它需要在那些上大学之路并不那么熟悉的区域“深挖”。

哈佛及其同行机构独特地有条件尝试这一实验：

他们完全有能力承担潜在的校友亲和力和金钱减少的风险（普林斯顿的捐赠收入就足以让该大学免费为每位学生提供学费，并且还有充足的余额）。
他们的声誉已经如此确立，以至于不再需要依赖“超级学生”的成就。
相对于录取来说，有资格的申请人的池子是如此庞大，所以在某些地理区域降低入学门槛仍将产生完全合格的申请人。
作为私立大学，哈佛及其同行无需担心政治任命的监事会或干预的州立法机构。

最重要的是，一个基于声图地图的分层抽样计划将使哈佛及其同行摆脱平权行动的法律和政治困境。选择以地理位置（而非种族或民族）为因素并不可取是毫无异议的。此外，减少精英机构在培育和加强个人所谓天生优点的角色也将产生有益的民主效果。

第九十六章：为风暴做准备还是不做准备

Kris Hunt Kris Hunt

Hard Right Solutions 的合伙人兼联合创始人

2005 年 8 月，我在北卡罗来纳州一家主要的家居改善零售商的分析团队工作，我的父亲和他的妻子住在新奥尔良。当卡特里娜飓风袭击东南部时，我能够以个人、专业和分析的角度看到和评估灾难。与家人的交谈，我亲身参与的志愿者经历，以及飓风过后访问新奥尔良地区的经历，让我的工作更具意义，因为我能够把名字和面孔与结果联系起来。当我回到办公室分析数据以捕捉卡特里娜对我们业务的巨大影响时，我会记住当时的景象、声音和气味。此外，我发现自己在思考作为一家公司和分析师，我们能够为未来做些什么以做好更充分的准备。

风暴之前和飓风登陆后的那段时间，业务趋势都很典型，我们的应急团队按照协议进行响应。我们正在分析哪些商店受到影响，并量化各部门的销售损失。卡特里娜飓风的独特之处在于，风暴在首次登陆佛罗里达后并未减弱，而是在墨西哥湾加强，然后袭击了新奥尔良，风暴潮导致防洪堤溃堤。遭受损失和破坏的土地、财产和人口数量呈指数级增长。员工和顾客失去了他们的家园和财产。由于建筑损坏、库存损失、断断续续的电力、缺乏工作人员、市政支持不力以及补给有限，商店关闭或者营业时间有限。这种情况堪称最糟糕的情况。

在卡特里娜飓风之前，我们建立了一个支持购买模式、产品亲和性、季节性、区域性和销售预测的最佳数据库。我的团队真正处于零售分析的领先地位。需要从我们现有的流程中排除，以便公司的其他部门可以像往常一样运作。

同时，我们意识到我们手中确实有一项真正的宝藏。被排除的数据无法用来预测正常的业务；然而，它却可以用来确定将出现在数据库中的关键产品和新模式，为我们业务如何通过风暴演变提供一本 playbook。简言之，飓风卡特里娜为数据科学家提供了分析零售世界中史诗般混乱的机会，并能够确定新常态确立的时机。

我意识到分析“风暴的演变”就像是制作一大罐柠檬汽水；然而，那是一个非常令人兴奋的时刻和项目。我开始创建“带状区域”，以确定从风暴中心向外的毁坏程度的级别，以确定正常状态的界线。随着时间的推移，每个带状区域都会达到它的新常态。经过四到五年的努力，我们建立了一个千载难逢的数据集——但我们能用它做些什么呢？

可能的用途：

向公众提供一份在灾难事件中保护和保护财产所需物品的清单。
创建“移动”商店，基本上是配有内置 POS 系统和设有灾后必需品的 18 轮卡车。
作为一种善意的举动，利用空车填满商店的纸板和“干净”的垃圾，因为在这些时候垃圾清理通常会暂停，进一步加剧零售商的运营压力。
制定一本操作手册，并调整该流程以使用这种方法，考虑到不同类型的灾害、区域特征和季节性。
将数据与现有的天气数据整合，并为学生创建案例研究，因为这一事件生动地说明了数据的演变，以及您必须像分析的对象一样灵活才能有效。
改进处于灾害易发区的当前协议。
概述用于分离风暴影响并仍然预测业务预期“新常态”的方法——风暴过后需求激增，但不具可持续性。要小心，因为您可能会建模出需要额外的地点，而这些地点在地区复苏后将无法生存。

我们遇到了一个企业预算问题，即是否继续捕捉和分析这些“数据礼物”，并承担保留和维护它的费用。考虑到这些事件罕见、难以预测，甚至更难迅速采取行动，决定让数据按照现有的数据保留政策自然地从数据库中移除。我想知道这些数据集是否可以用来提高暴风雨准备工作、拯救生命和财产，并改进灾害后勤，因为今天强烈的风暴似乎并不罕见。

第九十七章：伦理、人工智能及财务报告审计职能

史蒂文·明茨

加州州立大学圣路易斯奥比斯波分校名誉教授

AI 广泛指能使机器“智能”的技术。AI 已经推出了许多实用应用，可以增强决策过程。AI 由算法驱动，而算法则由大量数据驱动。

在 AI 系统中的伦理问题包括：（1）数据可靠吗？（2）我们能否相信数据提供了管理决策所需的信息？（3）审计师如何评估系统提供的数据？

2019 年 9 月，Genesys 发布了一份研究报告，称受访员工中有 21%表达了担忧，认为他们所在的公司可能以不道德的方式使用人工智能。因此，独立审计对于确保数据公正呈现财务信息和运营结果至关重要。

没有可靠的审计，几乎不可能得出结论，即 AI 系统生成的数据可供财务报表用户信赖，这是信任数据的关键因素。换言之，数据必须报告其应报告的内容，并且必须是无偏的。

审计是组织的一项重要功能，但其中很大部分都是例行工作。财务报表信息的检查适合使用技术来分析大数据，并决定审计的重点区域以及如何最佳地收集所需数据，以确保审计符合专业和道德标准。会计公司正在尝试使用 AI 系统，其中机器不仅限于执行机械任务，还能参与基本决策制定。

AI 对组织伦理有许多影响，包括内部审计、财务报告内部控制以及外部审计师的角色。此外，AI 系统可能存在的未预期后果与欺诈的潜力需要与有效审计相结合来理解。会计师和审计师应接受足够的培训来进行这些评估。

当今在会计和审计领域关于 AI 讨论中缺少的是对 AI 系统中伦理问题的明确理解，以及如何最佳解决这些问题。以下是十个关注领域：

如何在 AI 环境中通过企业治理体系确立问责和监督机制？
在 Sarbanes-Oxley 法案（2002 年）第 302 条下，AI 系统的使用如何影响首席财务官在财务报表认证中的角色和责任？
在 AI 系统中，财务报告内部控制系统的角色和责任是什么？
管理层必须做些什么来评估人工智能系统中的内部控制是否按预期运行？这是《萨班斯-奥克斯法案第 404 条》的要求。
在人工智能环境中，客观性和诚信面临哪些可能的威胁，存在哪些措施来减轻这些威胁并增强外部审计功能？
人工智能系统可能被用来推广管理议程（包括职业和/或欺诈性财务报表）的风险是什么？
如果存在重大风险，那么如何保护财务报表的完整性？
人工智能是否会减少个人和社区的数据权利或隐私的风险，以及如何管理这种风险？
在人工智能环境中，审计委员会的角色和责任是什么？
是否应设立独立的人工智能伦理委员会，以确保企业文化支持在人工智能事务上的道德决策？

人工智能环境中会计、审计和财务报告面临的挑战是巨大的。一种表述方式是强调透明度、问责制和诚信的必要性。另一种方式是信任但需验证。

第九十八章：灰色边界

菲尔·布罗德本特

eBay GCX Analytics 高级经理

我站在像露天剧场一样的房间里，展示我们最新实施的机器学习模型的结果。这个模型将优化在线零售商的价格，这家零售商正在积极采纳数据科学的新颖性以推动收入增长。我抬头面对我的指责者。

到目前为止，我们取得了一些小小的成功，并提议采用一种新的指标来衡量未来的影响。通过保持一个相对扁平的组织结构，无论是在层级还是操作上，我们避开了大公司中常见的政治动荡。那些提出有成效想法的人一直都被给予空间去做决策和拥有战略方向。

这种结构的一个缺点是具有不同议程的人可能会阻碍他人取得的进展。这一天就是这样的情况，一个市场团队的领导（他们被委托推动需求增长，但进展并不顺利）对我们提议的指标表示怀疑。他们指责我和我的团队以我们目前的方式展示结果是在“误导”组织。会议室里的大多数人对量化并不感兴趣，并没有意识到这是一场政治策略，旨在通过牺牲他人来提升一个团队的地位。

作为读者，您可能会对细节产生质疑（它们很多，历史也很长），并且可能会认为意图被误解了（可能确实如此）。我们可以辩论每个参与者的准确性或意图，但关键是这些都是参与当前所有公司内部战斗的实际人员，客户及其数据和行为被用作武器以获取与公司同事（内部或外部）的竞争优势。

我们已经看到了政府监管的开端，比如欧盟的 GDPR 及全球类似措施，但在公司内部呢？当需要成果（增加收入、降低成本或其他洞察驱动业务策略）并面临严厉处罚（年度奖金影响、工资、晋升资格等）时，人们会采取哪些手段呢？

我们现在处于一个环境中，其中的行动和策略只在设计师/架构师可能或可能不理解的算法/模型/人工智能之下才能看到。最近有关于谷歌如何影响了一些非零选民的讨论，甚至已经到了参议院听证会的地步。这一结果是否可能来自于高层领导要求结果，企业公民交付点击率、页面浏览量和/或通过操纵客户搜索结果获得的见解？如果是这样，谁在决定合法竞选和选举干预之间的界限究竟是什么？是那些为了不失去晋升/奖金/工作而努力交付结果的员工吗？

第九十九章：贡献者

Aaron Burciaga

Aaron Burciaga 是一位数据科学家、人工智能工程师、作者和顾问。作为一名经验丰富的科技和商业领袖，在初创企业和大企业中都专注于通过自动化、数据科学、机器学习、人工智能、区块链、量子计算和新兴概念以及创新技术提供效率和价值。他的项目和倡议的开发和实施已经增强了数十亿美元的项目和商业、联邦和国防领域的运营效率。Aaron 曾担任 HCL Technologies 数据科学与分析全球运营总监、Analytics2Go 首席技术官、Booz Allen Hamilton 数据科学与人工智能副总裁、Accenture 全球分析平台负责人以及 Elder Research 高级研究科学家。在转向商业和公共部门之前，Aaron 是海军陆战队军官和伊拉克战争老兵，并曾担任五角大楼运营研究分析主任和运营分析活动主任，支持海军陆战队总部。他还是一名海军陆战队后备军人，在五角大楼海军陆战队总部担任首席信息官领导数据技术工作。Aaron 是 Forbes 的撰稿人，经常受邀作为主题演讲嘉宾和演讲人，并且是认证分析专业人士（CAP）。他是美国商务部国家技术信息服务咨询委员会的委任成员。Aaron 毕业于海军研究生院运筹学硕士，并获得美国海军学院学士学位。

数据科学和人工智能的五大核心美德

Andreas Messalas

Andreas Messalas 是一位人工智能研究员和开发者，特别关注机器学习的透明性、公平性和鲁棒性。他在 Code4Thought 的工作主要集中在使算法透明化，并帮助组织变得负责任。Andreas 拥有希腊帕特拉大学的计算机工程和信息学硕士学位。

使用模型无关解释找出黑箱模型中的偏差

Anna Jacobson

Anna Jacobson 通过培训成为一名工程师，通过经验成为项目经理，通过志向成为数据科学家。她对决策的演变充满激情，从数据到信息再到洞察力，最终到行动，她着迷于这一过程改变我们周围世界的潜力。作为加州大学伯克利分校信息与数据科学硕士（MIDS）项目的学生，Anna 正在严谨地追求数据分析多个方面的研究，并同时担任 MIDS 社会公益倡议和女性倡议的学生代表。作为建筑行业的专业人士，她负责领导团队制定和实施策略，帮助客户规划和准备设计和建造建筑物的复杂过程。

算法时代的公平性

Arnobio Morelix

Arnobio Morelix 是一位驻扎在硅谷的领导者，他在战略和数据科学的交汇处工作。他的工作和分析广泛出现在国家和全球媒体上，包括《纽约时报》、《经济学人》、《华尔街日报》和 BBC。他经常在公共场合演讲，并曾在“西南偏南”（South by Southwest）、Facebook、美联储等地演讲。Arnobio 曾为 CEO、创始人、现任和前任政府部长以及顶尖学术人士提供建议、工作和演讲，并在斯坦福大学和《Inc.》杂志担任数据科学相关角色。作为 Startup Genome 的首席创新官，Arnobio 领导一个全球团队，研究并为覆盖 35 个以上国家的政府和私人组织制定创新政策提供建议。

偿还公平债务，技术债务的暗影孪生

算法误分类——（相当）好、坏和丑

Bill Schmarzo

Bill Schmarzo，日立万达拉首席创新官，负责定义日立万达拉的分析（人工智能/机器学习/数据科学）方向，并与选定客户共同推动“共创”努力，利用分析驱动数字转型。Bill 是旧金山大学管理学院（SOM）的执行研究员，也是爱尔兰国立大学戈尔韦的商学院经济学和商业荣誉教授，他在这里教授并指导学生学习《大数据 MBA：用数据科学驱动业务战略》和《像数据科学家一样思考》课程。

pass pass 伦理：被动与主动*

伦理道德只不过是社会行为的限制和指导原则吗？

Bob Gladden

Bob Gladden 是一位经验丰富的医疗保健分析领导者，在行业的多个领域都有经验。他是 Highmark Health 的企业分析副总裁，也是 Front Edge Analytics 的 CEO 兼所有者，后者是一家医疗保健洞察咨询服务组织。他的经验包括在 CareSource 管理集团、Ernst & Young 的医疗保健咨询实践、西北医疗保健系统、Advocate 医疗保健系统、McNerney Heintz 和 CoMed 担任领导职务。Gladden 在医疗保健分析、医疗保健管理、医疗保健研究、数据管理、数据治理、信息系统、精算科学、核保和金融领域拥有超过 35 年的经验。他过去的职位包括首席财务官（CFO）、首席信息官（CIO）以及多个分析领域的高级管理职务。他持有来自 Bowling Green State University 的硕士学位。

数据伦理与狂鼠效应

伦理悖论的悖论

Bonnie Holub

Bonnie Holub 拥有人工智能博士学位，并曾在多个角色中任职，包括 Teradata 的数据科学实践领导、Korn Ferry 的人才分析副总裁、Cognizant 的高级数据科学家、PwC 的分析总监以及 UCare 健康保险的企业数据仓库项目经理。她还是一位企业家，创办了几家公司。她在研究生阶段教学，并参与了几所大学成功的大数据、数据科学和人工智能项目的创立。

隔离区造成问题——也许比你想象的更多

Brendan Tierney

Brendan Tierney 长期从事数据解决方案开发，包括数据仓库、大数据、机器学习和数据架构。他是独立顾问（Oralytics），并在都柏林理工大学讲授数据科学、数据库和大数据课程。他活跃于博客界，为各种出版物撰写文章，并定期在各种开发者会议上发表演讲，包括 Oracle 用户组会议、Devoxx、PyCon 和 ODSC。Brendan 出版了四本书籍，其中三本与 Oracle Press/McGraw-Hill 合作（《使用 Oracle 数据挖掘进行预测分析》；《Oracle R 企业：在 Oracle 数据库中利用 R 的力量》；《实用 SQL 和 PL/SQL：专家建议》），还有一本与 MIT Press 合作的《数据科学》，后者已被翻译成其他六种语言。这些书在 Amazon 上以平装书、电子书和有声书的形式出售。访问 Brendan 的网站和博客www.oralytics.com，并在 Twitter 上关注他@brendantierney。

街头和购物中心的人脸识别

Brent Dykes

Brent Dykes 是 Blast Analytics 的洞察和数据故事讲述高级总监。他还是《有效数据故事：如何用数据、叙述和视觉推动变革》（Wiley）的作者。Brent 在 Omniture、Adobe 和 Domo 拥有超过 15 年的企业分析经验。他对数据战略和数据叙述的热情来自于与包括 Nike、Microsoft、Sony 和 Comcast 在内的许多行业领袖的咨询。他经常为 Forbes 撰稿，并在不同的数据相关主题上写了 35 多篇文章。2016 年，Brent 获得了数字分析协会（DAA）的最有影响力行业贡献奖。他是 Strata、Web Summit、Shop.org、Adtech、Pubcon、RISE、Crunch 和 Adobe Summit 等会议的受欢迎的演讲者。Brent 持有 Brigham Young 大学的 MBA 学位和 Simon Fraser 大学市场营销的 BBA 学位。

数据叙述：事实与虚构的临界点

伦理数据叙述者

Brian T. O’Neill

Brian T. O’Neill 是一位设计师、顾问，也是 Designing for Analytics 的创始人，这是一家独立的咨询公司，帮助公司将分析和机器学习转化为不可或缺的决策支持应用程序。他已经在 DellEMC、Global Strategy Group、Tripadvisor、Fidelity、JPMorgan Chase、E-Trade 以及几家 SAAS 初创公司工作了 20 多年。他曾国际演讲，在 Strata、Enterprise Data World、国际分析研究所研讨会、Predictive Analytics World 和波士顿学院发表演讲。Brian 还主持广受好评的播客《Experiencing Data》，在这个节目中，他揭示了产品、数据科学和分析领导者为提供有价值数据体验所采取的策略和活动。除了咨询工作，Brian 还是一名专业的打击乐手，曾在卡内基音乐厅和肯尼迪艺术中心演出。在 Twitter 上关注他@rhythmspice，并加入他的邮件列表https://designingforanalytics.com/list。

介绍 Ethicize™，完全基于 AI 的云伦理解决方案！

Carole Piovesan

Carole Piovesan 是 INQ Data Law 的合伙人和联合创始人，她的执业范围集中在隐私、网络安全准备、数据治理和人工智能等方面。她经常就隐私、数据保护、数据治理、伦理人工智能以及 AI 运营的风险管理等广泛问题为客户提供建议。

如何负责任地创新

Cassie Kozyrkov

Cassie Kozyrkov 是 Google Cloud 的首席决策科学家，她在指导团队进行数据驱动决策流程和 AI 战略方面具有领导地位。她是将决策智能实践引入 Google 的创新者，亲自培训了超过 20,000 名 Google 员工。

关于 AI 偏见的真相

AI 伦理

Christof Wolf-Brenner

Christof Wolf-Brenner 在 AI 和大数据领域担任顾问工作。除了领导创意研讨会、进行培训课程和管理项目外，他还以学术爱好者的身份开始从事哲学研究。通过结合工作经验和广泛的理论背景，他在一年前开始深入研究人工智能伦理学。

规则与理性

Collin Cunningham

Collin Cunningham 是亚马逊网络服务的数据科学家。工作之外，他创立了 SpringForward Foundation，帮助服务不足的高中学生申请大学，并担任 ATLFamilyMeal 的首席架构师。在加州大学伯克利分校完成硕士学位期间，Collin 因其在伦理学领域的工作和对社区的贡献而获得了 Jack Larson Data for Good Fellowship 奖学金。

道德 CRISP-DM：道德数据科学发展框架

Damian Gordon

Damian Gordon 在都柏林理工大学担任计算机科学讲师超过 20 年。他撰写了 50 多篇研究论文，其中 40 篇集中在他作为教育研究者的工作上（涵盖混合学习、通用设计、伦理和电子学习）。在成为讲师之前，他在计算机行业工作，曾担任软件开发人员、业务系统分析师、技术团队负责人和实施顾问等多种角色。

数据匿名化真的非常难

伦理是数据泄露的解药

Dave Cherry

Dave Cherry 是 Cherry Advisory, LLC 的主管。作为思想领袖、执行策略家和演讲者，他拥有超过 25 年的经验。他帮助客户在客户体验行业（每个有客户的人都在这里）定义一个由创新驱动并通过分析测量/调整的客户体验战略，以建立与客户的深厚关系和连接。他曾与 LBrands、Polo Ralph Lauren、Ascena Retail Group、Journeys、DSW、Disney、Alliance Data、Nationwide Insurance、AEP、Huntington Bank、Cardinal Health、OhioHealth、Deloitte Consulting 和 Price Waterhouse 等领先组织合作。他拥有宾夕法尼亚大学沃顿商学院的经济学学士学位，并担任国际分析学会专家小组和 Women in Analytics Conference 的咨询委员会成员。

Data Science Does Not Need a Code of Ethics（数据科学不需要道德准则）

100% Conversion: Utopia or Dystopia?（100% 转化：乌托邦还是反乌托邦？）

Dave Mathias 是结合客户、数据和产品的热情，以弥合商业和技术之间鸿沟的创始人。他是 Beyond the Data 的创始人，Data Able podcast 的联合主持人，也是 MinneAnalytics 和 TC Data Viz Group 的联合领导者。

Dave Mathias 将他对客户、数据和产品的热情结合起来，以弥合商业和技术之间的鸿沟。他是 Beyond the Data 的创始人，Data Able podcast 的联合主持人，也是 MinneAnalytics 和 TC Data Viz Group 的联合领导者。

Ethics as a Competitive Advantage（道德作为竞争优势）

Doug Hague

Doug Hague 是北卡罗来纳大学数据科学学院的创始执行董事。Hague 博士在加入该大学之前，在航空航天、电信和金融服务领域拥有超过 20 年的企业经验，包括担任美国银行的首席分析官。Hague 博士在学术和专业期刊上发表了超过 20 篇文章，并持有四项专利。

Unbiased ≠ Fair: For Data Science, It Cannot Be Just About the Math（无偏 ≠ 公平：对于数据科学来说，不仅仅是数学问题）

A Framework for Managing Ethics in Data Science: Model Risk Management（数据科学伦理管理框架：模型风险管理）

Edward Vandenberg

Edward Vandenberg 是保险业务分析师，专注于数据科学。在过去的 15 年里，他与主要保险公司合作，帮助他们开发高级定量模型，并将其应用于定价、核保和理赔流程中。他拥有商业和技术的高级学位，目前在 Teradata Corporation 工作。

Auto Insurance: When Data Science and the Business Model Intersect（汽车保险：当数据科学与商业模式交汇）

Eric Schmidt

Eric Schmidt 在国际业务中拥有超过 20 年的经验，致力于解决复杂的业务问题、开发分析工具和能力，并将分析转化为高级利益相关者可执行的见解和建议。他的分析职业涵盖多个行业，包括银行业、风险管理、酒店业和消费品包装业，在这些行业中，他领导了信用风险模型验证、定价和收入优化、需求预测以及市场和决策科学。目前，Eric 在乔治亚州亚特兰大市为一家主要饮料公司领导全球数据和分析团队，专注于财务、营销和战略的商业智能和数据科学应用。Eric 拥有乔治亚理工学院的学士、硕士和博士学位，研究机械工程和流体力学，并在埃默里大学的 Goizueta 商学院获得 MBA 学位，专注于市场营销和决策科学。他在乔治亚理工学院和 Goizueta 商学院均获得学术奖学金。2011 年，Eric 因在那年毕业班中成为最佳市场营销学生而获得市场学院荣誉奖。

首先，不要伤害

Eric Siegel

Eric Siegel，博士，Predictive Analytics World 和 Deep Learning World 会议系列的创始人，使得机器学习的如何和为什么变得易于理解且引人入胜。他是著有屡获殊荣的书籍《Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die》（Wiley）的作者，曾是哥伦比亚大学的教授，以及该领域中享有盛誉的演讲者、教育者和领导者。阅读他在数据和社会正义方面的其他著作，请访问www.civilrightsdata.com，并在 Twitter 上关注他的账号@predictanalytic。

明显歧视性算法

要打击预测性警务中的偏见，正义不能是色盲

Evan Stubbs

Evan Stubbs 是波士顿咨询集团的合伙人兼董事，已经撰写了多本关于通过数据获取竞争优势的书籍，并且是 BCG 数据和数字平台实践的全球领导者。他已在战略、工程和能力交汇的领域工作超过 20 年，并与他的客户全球合作，将技术转化为竞争优势。

伦理系统的前、现在和后

Fred Nugen

Fred Nugen 博士是预测性计算医学研究员，教授数据科学于加州大学伯克利分校。他专注于在工程和医学之间搭建桥梁，促进有意义的合作。他致力于设计、构建和改进可以提高生活质量并挽救生命的新技术。

保护您的数据免受侵犯将帮助我们改善医疗保健

Grant Fleming

Grant Fleming 是 Elder Research Inc. 的数据科学家。在 Elder Research，Grant 与私营和公共部门客户合作，识别和追求分析的新途径。他主要的技术兴趣是可解释的机器学习、可重现性以及用于文本分析的深度学习。

模型可解释性的伦理困境

Hannah Kitcher

Hannah Kitcher 负责提高人们对艾达·洛芙莱斯学会工作的认识，这是一个独立机构，致力于确保数据和人工智能为人民和社会服务。在此之前，Hannah 是负责技术思想的沉思所有责任的通信经理。Hannah 在独立组织的研究和沟通方面拥有广泛的经验，致力于理解和解决社会主要社会问题。

我们还没有准备好技术的信任标记

Hassan Masum

Hassan Masum 是 Prodigy Education 的高级分析总监和“进步战略家”。他热衷于与创新组织和变革者合作，解决复杂挑战，并喜欢共同开发社会技术解决方案，结合定量和定性见解，使人们受益。他的经历和出版物是人生旅程中利用分析、协作和仆人领导力追求有价值目标的航标。

理解您的领导为谁服务

构建多角度人工智能

Heidi Livingston Eisips

Heidi Livingston Eisips 是圣何塞州立大学卢卡斯商学院营销和商业分析系的兼职教师，教授涵盖营销、数据科学和统计学的广泛课程。致力于将体验式学习和数据伦理融入教学中，Eisips 女士利用超过 30 年在营销战略方面与财富 100 强公司、初创企业和中型公司合作的经验。Eisips 女士拥有英语文学和工商管理硕士学位，目前正在攻读博士学位。

算法偏见：你是旁观者还是支持者？

Hugh Watson

Hugh Watson 博士是乔治亚大学特里商学院的管理信息系统教授。他是业务智能和分析领域的领先学者和权威，出版了 24 本书和 200 多篇学术期刊文章。Hugh 在上世纪 70 年代帮助开发了决策支持系统的概念基础，在 80 年代研究了高级信息系统的开发和实施，过去 20 年专注于数据仓库、业务智能和分析。他是信息系统协会和数据仓库协会的会士，也是 Business Intelligence Journal 的高级编辑。

小心“心灵的决定”

避免陷入可怕程度的错误部分

Irina Raicu

Irina Raicu 是马克卡拉应用伦理中心的互联网伦理项目主任。她是一名律师和认证信息隐私专家。她的文章发表在多种刊物上，包括 大西洋月刊、今日美国、圣何塞水星报、旧金山纪事报 和 Recode。

个人数据的认知

James Taylor

James Taylor 是 Decision Management Solutions 的创始人兼首席执行官，也是国际分析研究所的教职成员。他是数字决策和利用先进分析、业务规则和人工智能提升业务结果的领先专家。他为财富 100 强和全球前 100 家公司提供战略咨询，在各个行业的客户中推广决策技术。James 是 Digital Decisioning: Using Decision Management to Deliver Business Impact from Artificial Intelligence（MK Press）的作者，与 Jan Purchase 合著的 Real-World Decision Modeling with DMN（MK Press）也由他编写。

信任、数据科学和斯蒂芬·柯维

你正在做出什么决定？

Janella Thomas

Janella Thomas 是 Cox Enterprises 的数据科学家。她在斯贝尔曼学院获得经济学学士学位，后在爱荷华州立大学获得分析学硕士学位。她与未婚夫和迷你雪纳瑞犬一起居住在乔治亚州亚特兰大市。

数据透明度：不了解可能会伤害你

Jennifer Lewis Priestley

Jennifer Priestley 博士是肯尼索州立大学研究生院副院长兼分析与数据科学研究所所长。她设计了美国第一个数据科学博士项目，该项目于 2015 年 2 月启动。她撰写了数十篇关于二元分类、风险建模、抽样、统计方法解决问题以及大数据分析应用的文章。在获得统计学博士学位之前，Priestley 博士在金融服务行业工作了 11 年。她曾担任伦敦 VISA 欧洲区的业务发展副总裁以及 MasterCard 美国的业务发展副总裁，还曾在安永战略服务集团担任分析顾问。Priestley 博士毕业于乔治亚州立大学获得博士学位，宾夕法尼亚州立大学获得工商管理硕士学位，乔治亚理工学院获得学士学位。

数据是否应该拥有权利？

伦理与数据科学家为何不能走捷径

Jesse Anderson

Jesse Anderson 是数据工程师、创意工程师兼 Big Data Institute 董事总经理。他与从初创公司到财富 100 强公司的企业合作进行大数据处理。他被广泛认为是该领域的专家，并因其新颖的教学方法而受到高度评价。

自动检测道德违规

Jitendra Mudhol

Jitendra Mudhol 是 CollaMeta 创始人兼首席执行官，一家位于硅谷的手工艺术企业，致力于人类创造力与人工智能交叉领域，在商业和社会领域解决问题。他在行业中已有三十年的经验，跨越大陆、文化和诸如西门子、IBM、东芝、富士通、高通和博通等大型企业以及创业初创公司。作为圣克拉拉大学米勒社会企业中心的执行研究员，他利用数据科学和机器学习来最大化社会影响。尽管拥有电子工程学学士学位和工商管理硕士学位，但他认为自己是个新手和终身学习者。

算法偏见：你是旁观者还是持不同意见者？

John F. Carter

约翰·F·卡特博士是一位经验丰富的数据和分析高管及顾问，在广泛的行业经验中利用数据和分析推动业务影响力。约翰的专长包括企业数据管理、分析、预测建模、数字转型和人工智能。约翰目前正在帮助公司使用数据和分析战略性地转变其组织和能力以加速增长。此前，约翰曾任 Charles Schwab 的高级副总裁，创建了高效的企业分析组织，并率先使用非结构化大数据和 AI/机器学习能力。约翰还曾是 Equifax, Inc. 的首席数据官，负责在 Equifax 的全球业务单元中建立数据战略、数据获取和数据治理最佳实践。在其职业生涯中，约翰曾在 Acxiom、花旗银行和 Responsys 担任高级职务。约翰在康涅狄格大学获得统计学博士学位。

数据伦理——分析领导者的三大关键行动

John Power

John Power 是一位拥有近 30 年经验的华尔街高管，曾在 Spear, Leeds & Kellogg、Bank Julius Baer、E-Trade Financial 和 Mellon Bank 等公司担任金融运营职位。John 在过去 10 年中一直在 MBA 项目中教学，并在 Mercy College 工作了第七个年头。John 目前正在 Wilmington University 攻读工商管理博士学位。他与妻子和两个儿子一起居住在纽约皇后区。

伦理、交易与人工智能

John Thuma

John Thuma 在数据和分析领域拥有 30 年的键盘操作经验。John 目前在 FIS 的数据解决方案组工作，这是一个新成立的、高度协作且快节奏的团队，旨在支持 FIS 不断扩展的数据业务。数据解决方案组负责为 FIS 的客户提供下一代数据产品和服务。这些工具提供革命性的、数据驱动的洞察力和行动，并赋予他们的客户在竞争激烈的、数据驱动的世界中取得成功的能力。该团队对自己的工作充满热情，并始终以客户为先。在这个团队内部和业务范围内，有着巨大的成长和学习机会，包括参与团队和业务的特别任务。

垃圾邮件。你会错过它吗？

Justin Cochran

Justin Cochran 是肯尼索州立大学信息系统副教授。他在乔治亚大学获得工商管理博士学位，并在奥本大学获得硕士和学士学位（机械工程）。除了教授的责任外，他还提供项目以挑战商学院教师，使其与不断发展的技术和业务实践保持同步。在空闲时间，他喜欢翻修房屋、在篮球场上教育人们，或者在摩托车上穿越山路。

在民主化数据科学领域构建知识的重要性

Kenneth Viciana

Kenneth Viciana 目前是 Fiserv 公司信息风险管理总监。他被全球公认为创新的数据与分析领导者。作为一位兼具商业与 IT 执行能力的领导者，Kenneth 成功开发并推动了战略、能力和项目，帮助公司利用和驾驭可操作数据的力量，以促进业务成果。

伦理问题正处于今天数据景观的前沿

Keri McConnell

Keri McConnell 是诺斯西特纳互惠数据科学研究所（NMDSI）的执行主任。在这一角色中，Keri 正在领导 NMDSI 的创建，这是诺斯西特纳互惠、马凯特大学和威斯康星大学密尔沃基分校之间独特和创新的合作伙伴关系。她是诺斯西特纳互惠分析实践的创始领导者，在组织快速增长时期起到了重要作用。Keri 早期职业生涯在电信行业度过，担任各种运营和技术角色。她在东北大学获得成人和组织学习专业的教育硕士学位。

设计企业数据伦理框架

Keyur Desai

Keyur Desai 是全球企业数据管理、数据商业化和分析的高级执行官，拥有 30 年的专业经验，擅长通过数据、分析和数据产品最大化业务成果、运营效率、企业风险和创新的影响。他目前担任 TD Ameritrade 公司的首席数据官。

在数字时代平等分配道德成果

Kris Hunt

Kris Hunt 是一位经验丰富的数据分析师，在 IT 行业和软件开发领域有着丰富的工作/咨询历史。她擅长于统计建模、客户关系管理（CRM）、数据库、数据仓库和财务分析。Kris 拥有来自罗格斯大学统计学专业的学士学位，是一位富有企业家精神的专业人士。

数据科学的黄金法则

是准备还是不准备迎接风暴

Laura James

Dr. Laura James 是一位工程师和领导者，致力于建立和发展负责任、可持续和协作的产品和组织，专注于新兴互联网技术。

我们还没有准备好技术的信任标志

Leandre Adifon

Leandre Adifon 是 Pyramid Base Technologies LLC（简称 PyBTech LLC）的创始人兼首席执行官，该公司旨在通过使地球友好的高科技产品可负担得起，来改善生活在社会金字塔底部的人们的生活和地球。直到最近，他担任英格索尔兰德公司的副总裁，负责全球系统工程和先进技术。在加入该公司之前，他在联合技术公司工作了 20 年，并担任奥的斯电梯全球工程副总裁。

如何确定可以道德使用的数据

Linda Burtch

Linda Burtch 是量化招聘行业的领导者，并致力于成为分析和数据科学招聘市场的专家。Linda 经常在午餐会、会议、公司会议和网络研讨会上发表关于量化职业主题的演讲，多年来一直是美国统计协会芝加哥分会和 INFORMS 的积极成员，包括担任数个董事会职务。她曾接受过纽约时报、华尔街日报、CNBC、彭博社、经济学人和信息周刊等媒体的采访，并在分析和数据科学招聘市场上保持博客超过 10 年。Burtch Works 也被《福布斯》认可为美国最佳招聘公司之一。

数据科学课程的基石必须是道德

道德：数据科学职业的下一个大浪潮？

Majken Sander

Majken Sander 是一位数据迷和业务分析师，同时倡导数据素养和数据使用中的道德问题。Majken 在 IT、管理信息、分析、商业智能和数据仓库等领域工作超过 20 年。凭借强大的分析专业知识，她热衷于将“数据驱动”作为商业原则，并关注数据科学和其他与数据相关的事物。更多信息请访问majkensander.com。

我怎么知道你是对的？

Marc Faddoul

Marc Faddoul 是一位算法设计师和研究员，专注于计算传播领域。他在法国顶尖的计算机科学工程学校——Télécom Paris 取得了数据科学硕士学位。然后在工业界担任算法设计师，后来被加州大学伯克利分校信息学院吸引，深入研究新技术的社会影响。

走向算法谦卑

Mario Vela

Mario Vela 是电信行业资深数据科学家，对哲学和数学充满热情，已有超过 20 年工作经验。

数据科学伦理：何为基础标准？

Marty Ellingsworth

Marty Ellingsworth 是一位分析专家和企业家。他运用数据、人工智能、高级分析和云技术解决关键业务问题和公共关切。他专注于财产和意外伤害保险中的风险评估、风险选择、定价、营销、理赔服务和销售，并经常在如何融入创新和数据驱动持续改进的文化方面撰文演讲。Marty 获得了美国空军学院运筹研究学士学位和空军技术研究所运筹研究硕士学位。他长期是 INFORMS 的成员，曾是美国风险与保险协会的董事会成员，并经常作为行业会议的成员参与 KDD。

对错何在？

Michael Hind

Michael Hind 是 IBM 研究 AI 部门的杰出研究员，位于纽约约克镇。他发表了 50 多篇论文，担任过 50 多个程序委员会成员，并在多所顶尖大学、会议和政府机构做过多次主题演讲和邀请演讲。Michael 领导了数十名研究人员成功将技术转移到 IBM 的各个部门，并帮助启动了几个成功的开源项目，如 AI Fairness 360 和 AI Explainability 360。他在 2000 年关于自适应优化的论文被认定为 OOPSLA’00 最具影响力论文，并且他在 Jikes RVM 上的工作获得了 2012 年的 SIGPLAN 软件奖。Michael 是 ACM 杰出科学家和 IBM 技术学院的成员。

在模型通用之前，不要做出一般化断言

Mike McGuirk

Mike McGuirk 是 Babson College 的讲师和全职教师，教授本科和研究生课程，重点是在营销和紧密相关的业务功能中成功使用分析实践。在 2020 年 1 月加入 Babson 之前，Mike 在 Emerson College 教授了四年，在那里他还担任了新的数字营销和数据分析硕士课程的研究生项目主任。在转向学术界之前，Mike 在分析领域工作了超过 25 年，担任数据驱动营销和分析顾问。他一直对利用数据、技术和分析开发解决方案，帮助业务高管做出更为明智的、见解驱动的决策感兴趣。Mike 在帮助财富 1000 强公司识别导致高利润营销项目和优越客户体验的客户洞察方面拥有丰富的经验。他在描述性、预测性和规定性分析技术方面有深厚的专业知识。他最近曾是 iKnowtion（已被 TTEC 收购）的合伙人，并曾领导 Epsilon 和多个初创公司的分析咨询部门。

伦理与反思是成功数据科学核心

终身营销分析师对消费者数据隐私的看法

Miroslava Walekova

Miroslava Walekova 是金融服务行业的企业绩效改善架构师，拥有 10 年以上的经验，专注于利用最新技术推动负责任和可持续的组织转型和增长。

“所有模型都是错误的。”我们该如何应对？

Naomi Arcadia Kaduwela

Naomi Arcadia Kaduwela 是创新的、道德的 AI 创作者。作为 Kavi Global 创新部门 Kavi Labs 的负责人，Naomi 与跨行业的客户合作共同创造利用 AI、先进分析和物联网带来的业务价值。在加入 Kavi Global 之前，Naomi 是 GE Healthcare 分析团队的创始成员，并从 GE 的数字技术领导计划毕业。Naomi 是学术研究人员和会议演讲者。Naomi 拥有西北大学分析学硕士学位，以及伊萨卡学院计算机科学和应用心理学双学士学位。

聊天机器人是否应比人类受到更高的道德标准？

Nenad Jukić

尼纳德·尤基奇是芝加哥洛约拉大学奎兰商学院的信息系统教授。他在各种信息管理相关领域进行研究，包括数据库建模和管理、数据仓库、业务智能、数据挖掘、商业分析、大数据、电子商务和 IT 战略。他的作品发表在众多管理信息系统和计算机科学学术期刊、会议论文和书籍中。

数据科学社会使用因素的不平衡

尼克·哈姆林

尼克·哈姆林致力于使社会公益数据对每个人都可访问、易理解和可操作。作为 GlobalGiving 的首席数据科学家，尼克扮演多重角色，包括领导组织的数据战略、构建和维护核心基础设施，设计实验评估项目影响。他还是 Datakind 社区健康影响实践的数据大使，是 Pando 的开发者（Root Change 社交领域网络探索平台），以及 Aidsight 团队的一员，该应用允许非技术用户轻松探索国际援助透明数据，揭示组织之间的隐藏关系并验证数据质量。在过去，尼克曾在世界各地的财富 500 强公司担任可靠性咨询工程师，并在中国和泰国担任美国国家科学基金会研究职位。在办公室之外，他是民谣音乐街头表演者、业余咖啡迷和前蚯蚓养殖户。了解更多有关尼克的信息，请访问他的 Twitter（@nicholashamlin）或nickhamlin.com。

利用社交反馈环来解决伦理问题

帕米拉·帕斯曼

帕米拉·帕斯曼创立并担任负责企业与贸易中心（CREATe.org）的主席，该中心开发和传播关于公司如何内部和与其全球供应链管理关键风险的领先实践。在此之前，帕米拉在微软公司工作了 15 年。她是战略与国际问题中心（CSIS）的高级合伙人。

AI 的责任设计与使用：管理安全性、风险和透明度

人工智能：新兴伦理中的法律责任

彼得·布鲁斯

Peter Bruce 是位于弗吉尼亚州阿灵顿的 Statistics.com 统计教育研究所的创始人，该公司是 Elder Research 的一部分。之前，与著名经济学家朱利安·西蒙合作，Peter 继续和商业化开发了西蒙的重抽样统计工具——Simon’s Resampling Stats。在 Cytel Software Corp. 工作期间，他开发了类似的 Box Sampler，并帮助推广了 XLMiner，这是一款用于 Excel 的数据挖掘增强插件。他是《Introductory Statistics and Analytics: A Resampling Perspective》（Wiley）的作者，《Data Mining for Business Analytics》（Wiley，11 版，与 Galit Shmueli、Peter Gedeck、Inbal Yahav、Nitin R. Patel 和 Mia L. Stephens 合著）的共同作者，《Practical Statistics for Data Scientists》（O’Reilly，第 2 版，与 Peter Gedeck 和 Andrew Bruce 合著）的共同作者。

分流与人工智能

哈佛大学的随机选择？

Phil Bangayan

Phil Bangayan 是 Teradata 的首席数据科学家，在那里他通过应用机器学习帮助合作伙伴解决业务问题。在加入 Teradata 之前，他曾在 NBCUniversal 和华特迪士尼公司的数据科学、市场营销和财务职位上应用分析来增长收入。Phil 拥有 MIT Sloan 管理学院的工商管理硕士学位和 UCLA 的电气工程硕士学位。

重新思考“获取数据”步骤

Phil Broadbent

Phil Broadbent 的整个职业生涯都涉及零售分析的各个方面，从定价到预测，再到运营和商品销售。他的简历包括解决全球最大公司的问题：百思买、玩具反斗城、eBay、家得宝等。

灰色界限

Polly Mitchell-Guthrie

Polly Mitchell-Guthrie 是 Kinaxis 的行业外联和思想领导副总裁，一家供应链和分析软件公司。之前，她是北卡罗来纳大学医疗保健系统分析咨询服务的主任，并在 SAS 的高级分析研发、全球学术计划主任和联盟等多个角色中工作过。她在北卡罗来纳大学教堂山分校的肯南-弗拉格勒商学院获得工商管理硕士学位，并作为莫黑德学者获得政治学学士学位。她在 INFORMS（运筹学与分析的主要专业学会）非常活跃，并共同创办了机器学习和数据科学中的第三章女性联盟（现在全球有超过 60 个分会）。

伦理数据科学：艺术与科学兼备

Rachel Thomas

Rachel Thomas 是旧金山大学应用数据伦理中心的创始主任，也是fast.ai的联合创始人，该平台创建了全球最受欢迎的深度学习课程（据我们所知），免费在线提供且无广告。她被福布斯评选为“AI 领域 20 位不可思议的女性”之一，并在杜克大学获得数学博士学位，在 Uber 担任早期数据科学家。Rachel 是一位知名作家和主题演讲者。

算法与人类决策制定者的不同使用

Rado Kotorov

Rado Kotorov 是经验丰富的技术创新者、数字化转型领导者和软件执行官，具有广泛的国际经验。Rado 利用对数据、商业智能、分析、机器学习和人工智能的深刻理解来解决当今的业务挑战，并发现未开发的收入机会。Rado 在数字经济中开发愿景、战略和数据驱动的商业模型方面是一位被证明的领导者，并且是两本关于数据和分析在业务中使用的管理书籍的作者：《组织智能：智能公司如何利用信息提升竞争力和盈利能力》（Information Builders）和《数字经济中的数据驱动商业模型：伟大公司如何依赖数据运营》（Business Expert Press）。Rado 获得了 2019 年新泽西数字技术创新奖。

未来领导力：如何实现道德透明

机器学习预测沟通的伦理

Randy Guse

Randy Guse 是美国健康联合集团（UnitedHealth Group）Optum 企业分析部门人工智能组织学习、研究和战略主管。他负责人工智能知识发展，推动组织分析成熟度的提升。在加入美国健康联合集团之前，Randy 设计并管理了多个行业的客户分析解决方案交付。这些行业包括金融服务、零售、酒店业、运输、通讯和技术。您可以在他的LinkedIn 页面了解更多关于 Randy 的信息。

算法影响评估

Rasmus Wegener

Rasmus Wegener 是贝恩公司旧金山办公室的合伙人，他在贝恩公司的业务转型和高级分析实践中担任领导者。

如何透明和信任地要求客户数据

Richard Hackathorn

理查德·哈克索恩博士目前致力于确保大规模的深度学习系统在技术和伦理上可管理。几十年来，理查德一直以行业分析师、技术创新者、高科技企业家、大学教授和国际数据分析与商业智能讲师而闻名。他在数据库管理、决策支持、数据库连接、数据仓库和沉浸式分析方面开创了创新。

商业现实将击败你的分析

罗伯特·J·阿贝特

罗伯特·J·阿贝特已经在数据领域工作了比他愿意承认的时间长——从开发开始，转向架构，然后到商业智能可视化，再到大数据科学，最终成为首席数据官。罗伯特通过与技术合作伙伴和专家的战略合作，结合对领先技术和架构的深刻技术理解和人际交往技能，积累了交付创新数据管理、治理和分析解决方案的经验。他有幸被同行视为大数据和分析思想领袖，并从约翰·扎克曼、彼得·艾肯博士、大卫·马可、玛莎·丹贝尔等众多知名人士那里学习。他在《DAMA-DMBOK》，第二版（Technics）中撰写了“大数据与数据科学”章节，并因此被《Toggle》杂志在 2017 年赋予了“数据耳语者”的绰号。他是 2020 年麻省理工学院首席数据官信息质量国际会议的联合主席之一。他的团队因《沃尔玛 2013 年技术创新项目年度奖》中的“企业协作分析设施”（Data CAFÉ）而获奖。

按用例和结果集限制客户信息的查看

何时拒绝数据

罗伯特·J·麦克格拉斯

罗伯特·J·麦克格拉斯博士是新罕布什尔大学健康数据科学与分析研究生项目主任，健康管理与政策系主任。他的研究集中在知识生成的基础、协作科学和公共利益。

数据科学与审议正义：他者之声的伦理

罗恩·博德金

罗恩·博德金（Ron Bodkin）是一个专注于人工智能有益应用的连续创业者。罗恩领导谷歌云首席技术官办公室的零售行业人工智能和负责任的人工智能工作。他还主导 AI 创新实验，并与谷歌产品管理和工程团队合作开发 AI 和分析产品，与客户共同创新，他是与谷歌云关键客户合作的技术执行赞助人。他在 Medium 上撰写了关于机器学习和人工智能的文章。

朝向价值导向的机器学习

Scott Radcliffe

斯科特·拉德克利夫（Scott Radcliffe）是埃默里大学哥伦比亚商学院（Emory University's Goizueta Business School）商业分析硕士项目的执行董事。在这个角色中，他专注于开发行业合作伙伴关系，为学生提供将基础培训与应用到真实业务问题、真实数据和最新技术相结合的实践学习经验。他对商业分析教育中的体验学习充满热情，因为这驱使人们理解何时、如何以及为什么要使用它。在加入埃默里之前，Scott 曾在科克斯通讯公司（Cox Communications）担任执行董事，负责运营和客户体验分析工作。作为一名职业商业分析实践者，Scott 在各种行业如日用品、能源、移动通信和数据分析产品开发中有着丰富的应用经验。Scott 还是 Vajra Partners 的联合创始人兼数据科学副总裁。他是由运筹学和管理科学研究所（INFORMS）颁发的认证分析专家（CAP）。

机器学习中的因果性和公平意识

塞巴斯蒂安·帕奎特（Sébastien Paquet）

塞巴斯蒂安·帕奎特（Sébastien Paquet）在蒙特利尔大学获得物理学学士学位，并获得计算机科学博士学位。他曾在伽马射线探测器、医学成像、射频设备、计算机图形学、虚拟现实和社交协作软件领域工作，并担任经验丰富的促进者和组织者。作为 Element AI 的首席应用研究科学家，他是公司内几个计划的发起者，并参与建立各种流程和程序，包括应用研究科学家的招聘流程。他管理着持续改进团队和多技能学习计划，加速技术员工的学习过程。他特别关注人工智能企业文化和社会影响的角度。

构建多角度的人工智能

Sherrill W. Hayes

谢瑞尔·W·海斯博士是肯尼索州立大学计算与软件工程学院博士学位项目的主任和冲突管理教授。海斯博士在冲突管理、程序开发和评估领域拥有超过 20 年的经验，在美国、英国和德国的家庭、组织、法院系统和高等教育领域开展过工作，深受尊敬。

小心的伦理故事：颅相学、优生学…还有数据科学？

知情同意和数据素养教育对伦理至关重要

斯蒂芬妮·苏沃德

斯蒂芬妮·苏沃德曾是一名拥有两次派驻经验的美国陆军军官，服役超过六年。离开军队后，她加入了 Booz Allen Hamilton 公司，专注于机器学习和数据科学应用。她于 2020 年 4 月通过加州大学伯克利分校获得了信息与数据科学硕士学位。

不可避免的法律基础

史蒂夫·斯通

史蒂夫·斯通是一位经验丰富的高管和作家，拥有超过 36 年的技术服务和零售行业经验。作为创新、备受尊敬的领导者，他主导了数字技术和先进分析的采用。除了在多个技术董事会任职外，史蒂夫目前还经营着他在 2017 年成立的 NSU Technologies, LLC 执行顾问公司。

仅仅因为你可以，你应该吗？为分析选择数据的伦理

实施 AI 伦理治理与控制

史蒂文·明茨

史蒂文·明茨博士以 Ethics Sage 的名义撰写博客。他的博客被 Feedspot 评为哲学领域中排名第 21 的顶级博客之一。他的 Workplace Ethics Advice 博客在 Market Inspector 的“30 个杰出企业社会责任（CSR）博客”中排名第 3，致力于推广可持续发展和企业社会责任意识。明茨博士因其在大学教育和研究领域的工作而获得了多个奖项，包括美国会计协会公共利益部门颁发的“会计楷模”奖。

伦理、人工智能和财务报告审计功能

史蒂文·C·迈尔斯

Steven C. Myers 是一位应用计量经济学和数据分析的教育家，同时也是经济学家在数据科学中的传道者。他是 SAS 大会的演讲者，曾担任首席信息官，并荣获 2020 年 SAS 杰出教育家奖。他擅长将经济和商业知识与严格的统计和编程技术结合起来解决问题，并提供解决方案。他是阿克伦大学经济学副教授，教授经济学和商业数据分析学位课程。他在 econdatascience.com 上撰写博客。

应用计量经济学和数据科学中的伦理规则

Stuart Buck

Stuart Buck 拥有法学博士和教育政策博士学位。作为 Arnold Ventures 的副总裁，他资助了知名的工作，揭示科学研究通常是不可重复的，并且如何使用开放科学和透明政策来改进它。他曾为 DARPA、IARPA（CIA 的研究部门）、退伍军人事务部和白宫社会与行为科学团队提供建议，关于严谨和透明的研究流程，并在顶级期刊（如 Science）上发表文章，探讨如何使研究更加准确。

为什么研究应该是可重复的

Thomas Casey

Thomas Casey 在处理、设计解决方案以及帮助全球 2000 客户更好地利用分析技术方面拥有近 25 年的经验。他撰写了自动化智能框架，定义了一种实用的方法来驱动个性化决策，使用一套通用的分析指导原则。Thomas 拥有亚利桑那州立大学的工商管理硕士学位和马萨诸塞大学的学士学位。他目前正在哈佛商业分析项目中学习，并经常在各种分析主题的会议和客户研讨会上做演讲。

概率—统治分析伦理的法则

Tim Wilson

Tim Wilson 自 2001 年以来一直全职从事数字数据工作，担任过多种角色，从管理网页分析平台迁移和作为一家价值 5 亿美元的高科技 B2B 公司商业智能部门负责人，到在三家不同代理公司创建和发展分析实践，这些代理公司与多个大型消费品牌合作。Tim 还向财富 500 强公司的数字分析团队提供咨询，帮助他们制定有效的数字数据战略、流程和策略。他长期以来一直为分析师和营销人员创造实用内容，包括共同主持两周一次的 Digital Analytics Power Hour podcast 和共同创建 dartistics.com——一个致力于鼓励分析师学习 R 编程语言并将统计方法应用于其数据的网站。

“道德”不是一个二元概念

Yiannis Kanellopoulos

Yiannis Kanellopoulos 在过去的二十年中，专注于分析和评估软件系统，以帮助组织解决与其相关的潜在风险和缺陷。（根据他的经验，这些风险或缺陷总是由人为因素引起的。）他通过创办初创公司 Code4Thought，将自己的专业知识转化为使算法透明化，并帮助组织承担责任。他还是 Orange Grove Patras 的创始成员，这是由荷兰驻希腊大使馆赞助的企业孵化器，旨在促进创业精神并对抗青年失业问题。Yiannis 拥有曼彻斯特大学的计算机科学博士学位。

使用模型无关的解释来发现黑盒模型中的偏见

把责任放在首位

posted @ 2025-11-23 09:27 绝不原创的飞龙阅读(39) 评论(0) 收藏举报

刷新页面返回顶部

龙哥盟

掠夺·扩张·投机·博弈

数据科学领域的每个人都应该知道的-97-件关于伦理的事情-全-

数据科学领域的每个人都应该知道的 97 件关于伦理的事情（全）

前言

为什么现在？

伦理是“模糊的”。

拥抱伦理责任！

书的组织方式

O’Reilly 在线学习

注意

如何联系我们

致谢

第一部分： 基础伦理原则

第一章：真相关于 AI 偏见

Cassie Kozyrkov

数据和数学并不等同于客观性

什么是算法偏见？

数据集由人类作者编写

这并不是做一个混蛋的借口

公平性在人工智能中

公平与意识

第二章：介绍 Ethicize™，完全由 AI 驱动的基于云的伦理解决方案！

Brian T. O’Neill

第三章：“道德”不是一个二元概念

Tim Wilson

第四章：警示伦理故事：颅相学、优生学……以及数据科学？

Sherrill Hayes

那么，颅相学家和优生学家做了什么？

问题出在哪里？

数据科学又是怎样的呢？

结论

第五章：未来的领导力：如何面对道德透明性

Rado Kotorov

1. Playing God

2. 道德失明

如何解决这类问题？

第六章：规则与理性

克里斯多夫·沃尔夫·布伦纳

第七章：理解被动与主动伦理

比尔·施马尔佐

什么是 AI 伦理？

意外后果的后果

定义 AI 效用函数

被动伦理与主动伦理

总结

第八章：小心“心之决策”

休·沃森

第九章：机器学习算法时代的公平性

安娜·雅各布森

参考资料

第十章：数据科学伦理：什么是基础性标准？

Mario Vela

第十一章：理解你的领导为谁服务

哈桑·马苏姆

第二部分： 数据科学与社会

第十二章：不偏不等于公平：对于数据科学而言，不能只关注数学问题。

Doug Hague

第十三章：信任、数据科学和史蒂芬·柯维

詹姆斯·泰勒

先听取意见

扩展信任

澄清期望

直面现实

创建透明度

交付结果

实践责任制

变得更好

第十四章：伦理必须成为数据科学课程的基石

Linda Burtch

第十五章：数据叙事：事实与虚构的临界点

布伦特·戴克斯

第十六章：知情同意和数据素养教育对伦理至关重要

Sherrill Hayes

第十七章：首先，不要伤害

艾瑞克·施密特

第十八章：为什么研究应该具有再现性

斯图尔特·巴克

第十九章：构建多视角 AI

Hassan Masum 和

第一部分：基础伦理原则

第二部分：数据科学与社会