读数据科学伦理：概念、技术和警世故事09伦理建模

1. 伦理建模

1.1. 女性的隐形歧视问题

1.2. 可解释性问题，即能够解释预测结果

• 1.2.1. 之所以需要能够解释预测结果，是因为我们既要获得对模型的信任，又要有所感悟，还要改进模型

1.3. 可解释性方法

• 1.3.1. 复杂模型可解释性方法(LIME)

• 1.3.2. 反事实分析方法

  • 1.3.2.1. 用于评估个体解释，很适合用于上述语境中的信用评分问题

• 1.3.3. 规则提取方法

  • 1.3.3.1. 用于解释全局预测模型

2. 歧视感知模型

2.1. 一些人认为，利用算法及生成的预测模型进行决策，比单纯人类决策更为准确

• 2.1.1. 当数据对某些敏感群体存在偏见时，生成的数据科学模型同样也会存在这种偏见

• 2.1.2. 现有歧视仍难根除

2.2. 衡量预测模型的公平性

• 2.2.1. 体现出模型分类对敏感属性的依赖性

• 2.2.2. 而区别在于它们使用不同的数据集内容来衡量模型公平性

• 2.2.3. 公平性的四层定义

  • 2.2.3.1. 第一个判定预测模型公平性的常见方法为群体均等

    2.2.3.1.1. 群体均等要求模型获得的积极结果不受敏感属性的影响

    2.2.3.1.2. 即敏感群体和非敏感群体的输出结果具有相同的检出率

  • 2.2.3.2. 第二个衡量指标是机会均等

    2.2.3.2.1. 机会均等要求公司雇佣同等比例的合格男女

    2.2.3.2.2. 敏感群体和非敏感群体的检出率应相同

  • 2.2.3.3. 均等概率是公平性的第三大衡量指标

    2.2.3.3.1. 比机会均等要求更为严格

    2.2.3.3.2. 均等概率不仅仅关注合格人群（Y=+）​，不合格人群（Y=）也在其考虑范围之内

    2.2.3.3.3. 均等概率不但要求公司录用合格男女的比例相等，而且不合格男女也应如此

    2.2.3.3.4. 均等概率既考虑了不同的真正检出率(true positive rates)导致的歧视伤害，还兼顾了不同的假正检出率(false positive rates)对结果的潜在影响及后果

  • 2.2.3.4. 最后一个指标是预测率均等

    2.2.3.4.1. 预测率均等要求合格男性占所有受雇男性的比例与合格女性占所有受雇女性的比例相等

    2.2.3.4.2. 只要一个人应聘成功，无论性别，获得积极结果的概率都是相同的

    2.2.3.4.3. 敏感人群和非敏感人群的准确率相同

  • 2.2.3.5. 机会均等和预测率均等这两个指标均存在一个潜在问题，即它们无法缩小敏感群体和非敏感群体之间的差距

  • 2.2.3.6. 包括错误率（每个群体）在内的公平性衡量指标往往更倾向于维持现状，而现状往往是厚此薄彼的，还包括历史上的不平等

  • 2.2.3.7. 衡量一个预测模型的公平性，不仅需要接触该预测模型，了解其敏感属性，还需要获得一组数据点

• 2.2.4. 群体公平(group fairness)

  • 2.2.4.1. 了解了预测模型在一组数据实例上的公平性

• 2.2.5. 个体公平(individual fairness)

  • 2.2.5.1. 如果任何两个个体在某特定方面相似，则对其预测也应该相似

• 2.2.6. 反事实公平是另一个个体公平的度量指标

  • 2.2.6.1. 反事实公平着眼于一个特定个体的反事实世界(counterfactual world)

  • 2.2.6.2. 在这个世界中，只有敏感属性发生变化（相应因果变量也会随之改变）​，而模型类别仍保持不变

  • 2.2.6.3. 这项指标研究的是变量因果图，并确定改变敏感属性而带来的影响

2.3. 消除偏见/偏差

• 2.3.1. 既包含目标变量的“传统”信息增益，又结合敏感属性的信息增益

• 2.3.2. 在目标函数上增加正则化项，以此消除歧视，而不是在传统正则化模型上增加正则化项，这样会简化模型复杂度

• 2.3.3. Adafair便是一种集成方法，它是AdaBoost算法的扩展

  • 2.3.3.1. Adafair在每一轮boosting算法迭代时，更新数据实例权重，确保公平性

• 2.3.4. 与其直接排除数据的敏感属性，还不如将其考虑在内，从而尽可能确保预测模型的准确性，然后针对不同群体（敏感属性）采用不同的临界值，来引入模型的公平性

  • 2.3.4.1. 需要纳入敏感属性，但往往敏感属性获之不易

• 2.3.5. 敏感变量的组成是变化的

  • 2.3.5.1. 种族对于医疗诊断也许非常重要，需要作为变量考虑在内，但它跟信用评分毫无关联

• 2.3.6. 检测模型的偏差需要利用敏感属性

  • 2.3.6.1. 几个公平性指标可能相互冲突，所以大家需要考虑清楚其适当性，并明确说明原因

2.4. 真正的危机在于数据科学家创建了预测模型，但未考虑到模型已有针对敏感群体的潜在歧视

• 2.4.1. 数据科学建模非常容易导致公然的歧视性做法

3. 可理解的模型与可解释的人工智能

3.1. 现如今，预测建模的研究重点逐渐转向理解预测模型做出预测的方式

• 3.1.1. 在预测性维护中，当我们预测到机器可能会出现故障，理应维修时，厘清做出这种预测的原因可以帮助我们明确机器故障的原因、负责的技术人员以及实际需要维护的机器部件

• 3.1.2. 在图像识别中，当自动驾驶汽车预测到前方有片白云，结果却是一辆白色卡车时，搞清楚模型为什么会错把白色卡车当白云至关重要，只有这样我们才能确保这类错误得到解决

3.2. 跟用户解释地球运作原理与解释模型预测原理，这两者存在一定的区别

• 3.2.1. 如果预测模型能比较精准地反映现实，那么该模型就会有助于我们理解世界的运作原理

3.3. 可理解性与可解释性

• 3.3.1. 可解释的(interpretable/explainable/intelligible)、可理解的(comprehensible)、透明的(transparent)、合理的(justifiable)、直观的(intuitive)等

• 3.3.2. 可理解性(comprehensibility)和可解释性(explainability)的一大重要区别是，可理解性是被动的，属于模型的性质，经常跟复杂性挂钩

• 3.3.3. 可解释性是主动的，指的是一种行动或程序，可以阐明或详述模型的内部工作方式

• 3.3.4. 可理解性：数据科学模型（或解释）的一种性质，用来衡量模型的“心理拟合度”​

  • 3.3.4.1. 其主要驱动因素包括：模型类型和模型大小

• 3.3.5. 可解释的人工智能：一个主要开发和应用算法来解释模型预测结果的研究领域

3.4. 预测模型的性质

• 3.4.1. 泛化行为，即模型预测结果的准确性

• 3.4.2. 模型的可理解性，表示用户理解模型的程度

• 3.4.3. 合理性或直观性，即模型同现有领域知识的一致性

  • 3.4.3.1. 模型可以是既准确无误，又可理解的​，但并不符合常识

• 3.4.4. 模型的公平性​，或模型进行预测的速度以及模型预测的鲁棒性等

3.5. 可理解性的第一大衡量标准即模型输出

• 3.5.1. 该输出可以是基于规则、基于树、基于线性、基于非线性、基于实例或其他形式

3.6. 深度学习模型也面临非线性输出和结果规模增加的问题

• 3.6.1. 谷歌MobileNetV2图像网络分类器利用了多层感知器模型，参数量高达690万

• 3.6.2. 此类深度学习模型在图像和语音识别等领域的预测性能，往往优于其他方法

3.7. 解释是主动行为，但讽刺的是，我们还需要更多复杂数据科学算法来解释复杂预测模型

3.8. 为何需要理解和解释预测结果？

• 3.8.1. 人类在诞生之初就有想要理解事物的观念，这种观念是科学研究的驱动力

  • 3.8.1.1. 企业需要充足的用例来理解数据科学模型得出特定预测结果或决策的原因

  • 3.8.1.2. 先前研究表明，如果用户无法理解分类模型的工作原理，他们就会怀疑其可靠性，进而不再愿意使用它

  • 3.8.1.3. 就算该模型已提高其决策绩效，用户的态度还会是如此

  • 3.8.1.4. 我们可以得出三个原因：信任、见解、改进预测模型

• 3.8.2. 几乎不存在不出任何差错的数据科学模型

  • 3.8.2.1. 任何预测模型都很可能做出错误决策，但这并不意味着不应该利用这些模型

  • 3.8.2.2. 在大多数据科学应用中，人们会根据预测结果进一步做出决策，而这些决策会对人、机器乃至公司底线产生重大影响

  • 3.8.2.3. 我们需要确保信任模型

    3.8.2.3.1. 信任数据科学模型意味着我们相信模型的可靠性或真实性

    3.8.2.3.2. 需要信任的一个具体案例就是遵从性

• 3.8.3. 解释的第二大目标是不断了解某个领域或模型，获得见解

  • 3.8.3.1. 预测建模领域目标更为远大，但获得见解也正是其中之一：不断学习领域知识

• 3.8.4. 解释的第三大动机是提高模型的预测绩效

  • 3.8.4.1. 人工智能传说中有这样一个故事，原本人们训练一个神经网络来检测坦克，但后来它却学会了检测时间。调查发现，此等情况很可能从未发生过

    3.8.4.1.1. 军事机构训练人工智能模型，来区分友军坦克和敌军坦克

    3.8.4.1.2. 系统就只学习了区分晴天和阴天

  • 3.8.4.2. 改进模型可以缩小数据科学模型和事实或现实间的差距

  • 3.8.4.3. 对模型或单个预测结果有所见解，可以使用户心智模型更接近数据科学模型

  • 3.8.4.4. 数据科学模型可以通过提供信任和改进模型来接近用户心智模型

3.9. 解释预测模型和预测结果

• 3.9.1. 解释是主动行为，但讽刺的是，我们还需要更多复杂数据科学算法来解释复杂预测模型

• 3.9.2. 解释的数据类型，要么是大数据集（通常为训练集）需要全局解释，要么单一预测需要实例解释

• 3.9.3. 产生的输出类型：模型（主要）特征的重要性、各（重要）特征图和规则

3.10. 全局解释

• 3.10.1. 全局解释即针对完整数据集（或大部分）来解释预测模型

  • 3.10.1.1. 全局解释算法将用于解释大数据集模型（其大多为训练数据）

• 3.10.2. 敏感性分析

  • 3.10.2.1. 敏感性分析常用方法是粗略地查看一下哪些特征对于模型最为重要

  • 3.10.2.2. 敏感性分析源于线性模型的易于理解性

• 3.10.3. “基于图”的方法依赖于可视化解释模型的能力

• 3.10.4. 规则提取

  • 3.10.4.1. 运用这些方法从训练好的黑箱模型中提取规则，并解释这些规则，然后通过不断模拟预测来尽可能保持黑箱模型的准确性

  • 3.10.4.2. 最简单的规则提取方法是只需将类别标签改为黑箱预测标签，然后针对重新标记的数据集采用基于规则或基于树模型的标准归纳方法来完成预测

  • 3.10.4.3. 事实证明，该方法在可理解性和保真度方面结果较好

    3.10.4.3.1. 保真度可以评估黑箱模型由规则解释的决定数量，而这主要通过提取规则和黑箱模型，针对相同分类的测试数据百分比来进行衡量

3.11. 实例解释

• 3.11.1. 实例解释即解释个体预测

  • 3.11.1.1. 实例解释算法用于解释模型如何对单个数据实例进行预测

• 3.11.2. 特征值图

  • 3.11.2.1. 部分依赖图的理念是将某个特征对预测分数的部分影响绘制成图

• 3.11.3. 特征重要性排序

  • 3.11.3.1. 特征重要性方法也可用于实例解释：可以判断出对特定数据实例（位于输入空间的特定区域）最为重要的特征

• 3.11.4. 反事实证据

  • 3.11.4.1. 反事实证据提供了数据实例中需要解释的最小证据集，如果去除该数据集，模型决策结果会发生改变

  • 3.11.4.2. 反事实代表不同分类的数据点

  • 3.11.4.3. 实例解释需要清楚说明拟解释的数据实例和反事实之间的差异，也就是反事实证据

  • 3.11.4.4. 反事实分析早在哲学领域得到了广泛应用

  • 3.11.4.5. 反事实证据用于解释决策时，为模型预测提供了指导，帮助决定改变因素来得出另外的结果，同时确保在此过程中未将模型直接披露给终端用户

  • 3.11.4.6. 我们需要特别提及反事实分析方法，该方法解释预测模型所做的决策

    3.11.4.6.1. 每当个体遭遇不良决策，无论是被拒绝信贷，还是被选中进行税务审计，又或是未被聘用或定罪，反事实证据都会说明此等决策的原因

  • 3.11.4.7. 事实证明，​“重要”特征既没必要用于反事实证据解释，更不足以进行反事实证据解释

    3.11.4.7.1. 在选择解释方法时务必仔细考虑，记住解释的用途再进行选择

3.12. 可理解的模型与可解释的人工智能都很有价值

• 3.12.1. 它们可以增强用户的信任，让用户对领域和模型有所了解，还可以不断改进数据科学模型

• 3.12.2. 不要觉得解释是数据科学过程中无法避免的弊端，用来确保数据不造成任何法律或名誉损害

• 3.12.3. 模型依据数据预测做出决策，而解释使得该过程更加公开透明

• 3.12.4. 解释让人们更能意识到数据质量和模型偏差等问题，还可能让人们对某些领域产生见解

• 3.12.5. 我们既可以使用大量数据来解释模型，从而获得全局解释，也可以对单一数据实例进行解释，获得实例解释

• 3.12.6. 究竟采用何种解释方法，主要取决于解释的对象和当下需要解释的情况

3.13. 解释是数据科学伦理领域的基本组成内容，甚至还具有法律依据

• 3.13.1. 但是，解释也提供了自身的伦理挑战：例如解释方法的选择

3.14. 管理人员往往希望获得全局解释，而模型主体往往更倾向于实例解释