密西根大学负责任的生成式人工智能笔记-全-

密西根大学负责任的生成式人工智能笔记（全）

1：导论 🧭

在本课程中，我们将开启负责任生成式人工智能系列课程的学习。我们将了解生成式人工智能的基本概念、其重要性，以及为何需要以负责任的态度来开发和使用它。

欢迎来到负责任生成式人工智能四门系列课程的第一门。我很荣幸能参与你的学习旅程，帮助你建立必要的知识和技能，以负责任地开发、使用和管理生成式人工智能系统。

生成式人工智能技术能为企业和个人带来许多可能性和机遇。但这些系统也可能对商业、社会、环境和未来工作产生重大影响。如此具有影响力的技术，要求我们采取负责任的方法，并具备批判性分析其影响的能力，以便做出明智的决策，从而取得最佳成果。

在技术、应用场景和治理方法快速变化的背景下，我希望能为决策者、开发者和最终用户带来基础性的知识。

我叫玛丽·希科克，是密歇根大学的教员，在信息学院教授数据科学课程，并在密歇根数据科学研究所就负责任人工智能和数据提供建议。同时，我也是全球独立研究与教育非营利组织“人工智能与数字政策中心”的主席，在那里我参与全球人工智能政策工作，并在超过80个国家教育未来的AI政策领导者。

上一节我们介绍了课程和讲师的背景，本节中我们来看看本课程的核心目标与结构。

本课程旨在为你提供坚实的基础，以便你能够：

理解生成式AI的基本原理。
识别其潜在的社会与商业影响。
掌握评估和管理相关风险的方法。
了解当前的政策框架与治理趋势。

通过本课程的学习，你将能够更自信、更负责任地参与到生成式人工智能的生态系统中。

在本节课中，我们一起学习了负责任生成式人工智能课程的导论部分，明确了学习目标，并认识了讲师。我们了解到，生成式AI是一把双刃剑，既充满机遇也伴随重大影响，因此必须以审慎和负责任的态度对待。在接下来的课程中，我们将深入探讨其技术基础、影响评估及治理策略。

2：何为负责任可信生成式AI 🤔

在本节课中，我们将要学习什么是负责任且可信的生成式人工智能。我们将探讨生成式AI的基本概念、其带来的机遇与挑战，并理解为何需要以负责任的方式开发和部署这项技术。

2022年，数百万人接触到了生成式AI产品。这些产品承诺将更好地变革各行各业，并为主流用户提供创新工具。

在此之前，AI系统主要是预测式AI。这类系统专注于分析数据集，以完成分类、识别、预测、推荐等任务。

相比之下，生成式AI系统则分析底层模式和数据，允许用户基于文本、图像、音频、视频、代码或这些模态的组合来创造新内容。

用户可以创造的内容几乎是无限的，并且每周都有许多新的用例被引入。

生成式AI的普及得益于一个事实：你只需要自然语言就能使用它。

然而，AI的开发、部署和使用也带来了许多新的挑战和问题，同时放大了现有的风险。

那么，作为个人、企业和社区，我们如何才能从这项新兴技术中受益呢？

我们需要所有人的参与。这是一个激动人心的时代，我们可能现在还不知道未来会从生成式AI中涌现出多少应用。

我们需要不同利益相关者之间的协作。我们需要在此过程中促进人类尊严、贡献于积极的社会变革，并保护环境。

这就是负责任且可信的AI，而生成式AI正是其中的一部分。我们每个人都有发言权，作为AI开发者、用户、投资者、科学家、政策制定者、公民社会成员，我们都有责任。

负责任AI意味着确保对AI技术有合理的信任。信任可以提高采用率、用例数量以及对研究的投资。

生成式AI可以带来积极的变革，但我们需要更好地理解其可能性和局限性，并相应地调整我们的关注点。

有些人可能选择专注于短期经济利益，并利用数据、劳动力和自然资源。这最终会损害这项技术，并对我们的社会和企业产生重大影响。

或者，我们可以在开发和部署系统时，考虑到多个利益相关者和社区。我们可以批判性地分析这些技术的好处和影响。

我们可以致力于建立防护栏，以对抗偏见、两极分化和恶意使用。我们可以主动为积极的社会、劳动力或教育转型做好准备。

投资于增强可及性以及公平获取。激励对公共产品的投入。优先考虑伦理和社会进步。提高数据和AI素养。并确保经济利益的公平分配。

负责任AI不是单一的一件事。它取决于你决定优先考虑和实施什么。

本节课中，我们一起学习了生成式AI与预测式AI的区别，认识到生成式AI的巨大潜力与伴随而来的风险。我们明确了负责任AI的核心在于建立合理信任、进行多方协作，并在技术发展中优先考虑伦理、公平与社会福祉。负责任AI是一个需要所有利益相关者共同参与和定义的持续过程。

3：生成式AI基础原理 🧠

在本节课中，我们将要学习生成式人工智能的基础原理。我们将从人工智能的宏观概念入手，逐步深入到机器学习、深度学习，最终聚焦于生成式AI的核心工作机制。课程将解释这些系统如何学习、如何生成内容，并介绍几种关键的模型架构。

人工智能乃至大型语言模型并非新生事物。它们的历史可以追溯到数十年前。事实上，第一个聊天机器人由约瑟夫·魏岑鲍姆于1966年开发。然而，生成式AI系统自2022年向主流用户开放以来，才真正吸引了广泛的兴趣和关注。

这些系统允许人们无需技术知识，仅通过语言即可与之交互，这意味着社会上有更多人能够使用不同的AI产品。

人工智能的范畴

上一节我们回顾了AI的发展，本节中我们来看看人工智能的具体范畴。你可以将AI同时视为一个科学领域和一系列算法系统。

以下是AI领域的主要组成部分及其关系：

人工智能：最广泛的范畴，包含所有模拟人类智能的系统和研究。
机器学习：AI的一个子集，指系统能够从数据中学习，而非依赖明确的规则编程。
深度学习：机器学习的一个子集，使用神经网络来评估和表示数据间的复杂联系。
生成式AI：深度学习的一个子集，专注于创造新的、原创的内容。

AI系统的类型

了解了AI的层次关系后，我们进一步看看AI系统的不同类型。AI系统可以非常简单，也可以极其复杂。

以下是几种主要的AI系统类型：

基于规则的算法：执行简单的“如果-那么”逻辑场景。
算法模型：被设计来执行特定任务。
复杂系统：输入与输出之间的关系非常复杂，难以解释或解读。

AI系统已广泛应用于我们生活的诸多领域，从招聘、保险、金融信贷决策，到房产估值、医疗诊断、天气预报、制造或关键基础设施管理。

机器学习与深度学习

上一节我们介绍了AI的应用，本节中我们来看看更复杂的AI方法：机器学习和深度学习。

机器学习 指的是系统从所使用的数据中学习，而非通过显式编程的算法模型。ML算法持续检测模式和关联，并调整其逻辑以产生结果。

深度学习 系统使用神经网络来评估和表示数据连接。“深度”一词指的是神经网络的多层结构，数据会穿过这些层并建立连接。这些神经网络可以被视为组织成层的互连节点。深度学习模型提取特征之间的连接，并将该信息传递到下一层，直至处理完成。

深度学习的有趣之处在于，它可以从有标签和无标签的数据中学习。例如，它可以使用带有标签或解释的图像数据集，这被称为监督学习。但这些系统也可以从无标签的原始内容数据集中学习，这被称为无监督学习。

什么是生成式AI？

在理解了深度学习之后，我们现在聚焦于它的一个子集：生成式AI。生成式AI系统在非常庞大的数据集或数据语料库上进行训练。由文本、音频、视频、图像甚至软件代码组成的数据集被用来训练生成式AI模型。

通常使用无监督学习技术来训练模型。换句话说，模型被提供无标签的数据，它们在没有人类明确编码的情况下自行发现模式和联系。

一个生成式AI模型从其数据集中学习单词之间现有的关系和模式。用户可以使用自然语言（如英语）要求系统创建回复或内容。响应用户的请求（称为提示），系统会生成文本、音频、视频或代码形式的输出。与系统交互无需技术知识。

自然语言交互使得该系统在事实信息或准确性并非主要关注点的任务中非常易于使用。然而，你仍然需要领域或技术知识来双重检查结果的准确性，特别是如果你计划根据提供的输出采取行动。

生成式AI的模型架构

我们已经知道生成式AI能做什么，现在来看看它是如何实现的。近十年来，深度学习模型已被用于生成越来越逼真的图像和音频。早期的系统使用变分自编码器。

随着近期的发展，生成式AI系统最流行的方法是Transformer、扩散模型和生成对抗网络。

以下是这三种核心架构的简要介绍：

Transformer模型：用于大型语言系统，用于预测序列输出中的下一个词元。
生成对抗网络：由两个模型组成：一个生成器和一个判别器。生成器生成新输出，判别器根据正确或真实数据进行评估。两者反复博弈，直到生成的输出与真实输出无法区分。GANs常用于生成逼真的视频、音频或“深度伪造”，也可用于创建合成表格或数据。
扩散模型：通过前向和反向的迭代过程生成图像。模型训练时，通过前向过程将图像转换为数据噪声（即系统地 dismantle 数据结构）。然后，模型将数据噪声发送回非结构化数据，以恢复其结构并创建图像。虽然计算量更大，但这个过程让开发者对结果有更多控制。

本节课中我们一起学习了生成式AI的基础原理。我们从人工智能的广义定义出发，梳理了机器学习、深度学习和生成式AI之间的包含关系。我们探讨了生成式AI如何利用海量数据和无监督学习进行训练，使其能够理解和生成文本、图像等内容。最后，我们介绍了实现这些能力的三种核心模型架构：Transformer、生成对抗网络和扩散模型。理解这些基础是后续探讨其负责任应用的关键。

P04：预测型AI与生成式AI对比 🧠

在本节课中，我们将要学习预测型AI系统与生成式AI系统之间的核心区别。我们将探讨它们各自的工作原理、应用场景以及评估方式的差异。

预测型系统已嵌入我们当前有意或无意使用的许多应用程序中。

这些AI系统使我们能够执行数据分析任务，例如观察某个事件的过往发生情况，然后预测其再次发生的可能性。

以下是预测型系统的一些常见应用场景：

识别图像或视频中的物体。
推荐您接下来应该查看的新闻或社交媒体内容。
检测信用卡的异常活动等。

上一节我们介绍了预测型AI，本节中我们来看看生成式AI。

另一方面，生成式AI系统通过识别其训练数据集中的模式来创造新的输出。换句话说，这两类系统的应用场景有显著不同。它们通过海量数据集进行训练，且无需为数据片段打标签。

为了更清晰地理解，我们可以通过一个例子来对比。如果您想在图片中识别出海豚的图像，您会希望使用预测型系统。您需要用许多海豚的图片来训练该系统，其中许多图片会带有文本标签，直到系统能够正确识别图像为止。

但是，如果您想绘制一幅海豚在帆船前游泳的图画，您会希望使用生成式AI系统。

了解了基本区别后，我们来看看如何评估这两类系统。

预测模型的结果可以通过一系列性能指标来评估。例如，如果您向系统提供几张松饼和其他物品的图片，并询问哪些是松饼，您可以验证结果并计算准确率。

生成式AI系统输出的评估则更为复杂。对于生成式AI系统，您可能提示系统创建一张温暖、美味的蓝莓松饼图片。要评估系统生成的内容是否看起来美味，或者评估系统在图片中添加的额外元素（例如叉子、咖啡或新鲜浆果），则要困难得多。

评估可能因人而异。图像的质量以及它是否符合您的想象，这些都是主观判断。如果您使用的是语言模型，其性能可以跨任务进行评估。也许您可以评估它识别与事实、物理或化学定律等不符的错误输出的能力。或者更主观地，通过评估回答的质量以及它是否满足任务要求来判断。

目前，有许多语言基准被用来评估这些系统。这些基准可以被视为标准化框架，模型在其中接受标准语言任务的测试，例如释义或预测句子情感。

此外，生成式AI系统在生成图像或句子中的下一个词时，具有一定程度的随机性。即使使用相同的提示，结果也可能每次都有变化。因此，其结果比预测型系统的可复现性更低，也更难评估。

本节课中我们一起学习了预测型AI与生成式AI的关键区别。预测型AI主要用于基于现有数据进行分类、识别和预测，其输出相对确定且易于用客观指标评估。而生成式AI则专注于从数据模式中创造全新的内容，其输出具有创造性和随机性，评估更依赖于主观判断和复杂的基准测试。理解这些差异是负责任地开发和应用这两类AI技术的基础。

5：生成式AI生命周期 🧬

在本节课中，我们将要学习生成式人工智能系统的完整生命周期。我们将从模型的构建基础开始，逐步了解其训练、优化、评估和部署的各个阶段，并探讨如何在整个过程中贯彻负责任的原则。

模型构建与训练 🏗️

上一节我们介绍了生成式AI的基本概念，本节中我们来看看一个通用生成式AI模型是如何构建和训练的。

这些通用模型由数十亿甚至数万亿个参数构成。用公式表示，一个模型的复杂度可以表示为：
模型复杂度 ∝ 参数数量

根据当前可用的方法，通用生成式AI系统需要大量的计算基础设施和资源来进行训练。

数据收集与处理

正如之前提到的，训练生成式系统需要海量数据。当前的训练数据集代表了互联网的很大一部分。

以下是数据收集的主要来源：

通过爬取数百万个网站及其内容获得，包括论坛和社交媒体。
爬取大型资源库，如维基百科、专利申请、报纸、书籍、电影、YouTube视频和个人博客。
结合用于训练目的的商业数据集和专有数据集。

爬取如此大量的互联网内容意味着训练数据集中包含大量受版权保护的材料、公共信息，以及从付费墙或付费内容中收集的数据。

一旦收集完成，数据集会被压缩以提高效率。换句话说，模型编码了训练数据的一个简化版本或表示。

理想情况下，数据集应经过处理，以移除非法、危险或有毒的元素，以及私人信息。应进行质量检查，并记录数据集的来源和变更。随后，通过模型训练，神经网络学习数据集中词语之间的关系和模式。

模型训练与参数学习

当模型学习了这数十亿种关系后，它便能在收到提示时生成输出。在训练过程中，模型在数据点之间建立连接，并分析这些连接对其任务的强度和权重。这些学习到的变量被称为参数，它们包含了将输入转化为输出所必需的知识。

微调与优化 ⚙️

然而，系统可能仍需要进一步的改进和优化。您可能还希望减少一些有毒或危险的响应。这时，微调就派上了用场。

在微调阶段，系统会被提供一系列问题模板。当比较、纠正和调整这些响应时，会利用人类反馈来改进系统的回答。

评估与部署 📊

在系统部署之前，会再次进行性能评估。这些评估指标可能因系统是通用型还是基于特定任务而有所不同，也可能因系统可能应用的不同领域而异。

负责任的部署要求开发者和部署者共同确保系统是安全、可靠和值得信赖的。

部署前评估

部署前的影响和风险评估应在此阶段完成。已知的危害和风险应得到缓解。并且，应为那些不可预见的风险建立必要的反馈和响应机制。

诚然，我们可能无法在部署前知晓或预见每一个问题。然而，这并不能免除我们为AI系统中已知和已确立的问题采取一切可能的预防措施的责任。

持续监控与维护 🔍

一旦部署，任何AI系统都需要持续监控其性能变化、新的用例以及遭受对抗性攻击的可能性。这些不是静态系统。它们的性能可能因新数据、与用户的互动，甚至恶意行为者的行为而改变。

总结

本节课中，我们一起学习了生成式AI的生命周期。我们从海量数据的收集与处理开始，了解了模型如何通过训练学习数十亿参数。接着，我们探讨了通过微调和人类反馈来优化模型性能。然后，我们强调了部署前进行严格评估和风险缓解的重要性。最后，我们认识到，负责任的AI实践要求对已部署的系统进行持续监控和维护，以应对不断变化的环境和潜在风险。理解这个完整的生命周期，是负责任地开发和使用生成式AI的关键。

5：数据训练阶段 🧠

在本节课中，我们将学习生成式AI模型在数据训练阶段的核心工作原理。我们将了解模型如何将人类语言转化为数学表示，并基于这些表示来生成连贯的文本。

概述

训练生成式AI模型需要多个步骤。模型无法直接理解人类使用的语言形式。为了训练系统，语言需要以一种公式化的方式进行处理。换句话说，数据集中的所有信息都需要被转换成数学表示。这个过程被称为分词。

分词：语言的基石

分词是让语言系统工作的基础。分词器将语言分解为称为“词元”的构建块。

以下是分词过程的步骤：

首先，将句子中的每个单词和标点符号分割成独立的词元。
然后，为每个词元分配一个唯一的数字ID。

例如，对于句子“One of the dolphins jumped.”，分词过程会将其分解为 [“One”, “of”, “the”, “dolphins”, “jumped”, “.”] 这样的词元序列，并为每个词元分配ID。

核心概念：分词

# 简化的分词示例
sentence = "One of the dolphins jumped."
tokens = sentence.split() + [“.”]  # 结果: [“One”, “of”, “the”, “dolphins”, “jumped”, “.”]
token_ids = [id_map[token] for token in tokens]  # 为每个词元查找对应的数字ID

虽然在这个例子中，词元与单词一一对应，但分词也可以基于字母或字符组合进行。

词向量与词嵌入

分词完成后，词向量开始发挥作用。词向量是词元之间关系的数学表示。

模型通过分析数据集，找出哪些词最常与当前词一起出现，从而学习这些关系。当我们把这些关系绘制出来时，就得到了词嵌入。词嵌入是词向量的可视化表示，它展示了哪些词在语义上是相似或相关的。

例如，在语言数据集中，“dolphin”（海豚）可能与“ocean”（海洋）、“fish”（鱼）或“shark”（鲨鱼）有更强的关联性。

核心概念：词向量与词嵌入
词向量可以表示为高维空间中的一个点：vector(“dolphin”) = [0.2, -0.5, 0.8, …]
相似的词（如“dolphin”和“whale”）在这个空间中的向量距离会很近。

从提示到生成：模型如何工作

现在，让我们看看当用户给出提示时，系统做了什么。

分词：用户输入的提示句子首先被分解为词元。
查找词嵌入：模型找到这些词元对应的词向量。
神经网络处理：这些向量经过神经网络的多层处理。
预测下一个词元：此时，模型已经对可能作为回复的词元有了一个概念，并为每个候选词元计算了概率。

例如，如果提示系统“写一段关于海豚的文字”，系统可能会用“swam”（游）、“jumped”（跳）、“turned”（转身）等词来完成句子，而不是用“textant”这样的无意义词。

核心概念：概率预测
模型计算下一个词元是 w_i 的概率：P(w_i | w_1, w_2, …, w_{i-1})
例如：P(“jumped” | “One of the dolphins”) 的概率可能很高。

重要的是要记住，大语言模型的核心是统计关系和数学表示。一个词（如“dolphin”）有其向量表示，序列中的所有其他词也有其向量表示，最终预测出的词或词元也有一个向量。系统通过不断地进行向量计算来生成对用户的响应。

训练数据质量与输出控制

如前所述，预测序列中下一个词的计算依赖于数据集中现有关系的强度和性质。因此，训练数据的质量决定了你将收到的回复的质量。

当系统预测下一个词元时，每个候选词元的概率会被排序。系统可以被设置为总是选择概率最高的词（top choice）。但有时这可能导致重复循环，产生无用的输出。

你可以通过调整生成结果的公式化过程，让模型选择排名较低的词，或从概率列表中随机挑选，同时仍保持一定的连贯性。这里的“随机性”意味着，如果我们多次使用相同的提示，每次都可能得到不同的回复。

变革者：Transformer架构

实现大语言模型更连贯回复的一项技术突破被称为 Transformer。在本课程开始时提到过，Transformer是构建生成式AI系统最流行的方法之一，对近期生成式AI的发展贡献巨大。

简单来说，与按顺序处理输入不同，Transformer可以并行处理多个序列。这使得模型的训练更快，规模也能更大。

核心概念：Transformer并行处理
传统RNN：hidden_state_t = f(hidden_state_{t-1}, input_t) （顺序依赖）
Transformer：同时处理所有输入词元，计算注意力权重。

注意力机制：理解上下文的关键

Transformer方法中一个非常有趣的概念是注意力机制。模型不再只关注最后一个词或词元，而是可以观察更长的范围，分析输入的词元序列。它会更加关注某些对保持上下文、代词与名词关系等至关重要的词元或单词。

注意力头有助于提高模型对下一个词元的预测能力。

具体流程如下：

模型接收一个提示。
将提示编码为数学表示。
运行词嵌入和概率计算。
同时，分析先前序列中最重要的部分以计算注意力权重。
将概率计算和注意力结果结合起来，创建一个新的表示。
最后，将这个数学表示解码，转换回自然语言。

例如，如果前面例子中的“dolphin”一词是在与海洋动物互动的上下文中使用的，注意力机制就会建立这种联系，而不会建议与“Miami Dolphins”（一支位于迈阿密的职业美式橄榄球队）相关的预测。

这种分析更长词汇范围并保持其关系完整的能力，是生成式AI系统的输出听起来像是理解了上下文的原因之一。输出听起来连贯，是因为模型利用了人类语言中存在的模式。

重要提醒：模型没有真正的理解

然而，必须牢记，系统并不理解上下文或后果。它只拥有关于词语之间关系的先验知识。

你可能还会注意到，如果你的提示长度超过某个阈值，回复可能会变得不那么一致和连贯。这是因为模型处理长程依赖的能力仍然有限。

总结

本节课中，我们一起学习了生成式AI模型数据训练阶段的核心概念：

分词将语言转化为数字词元。
词向量和词嵌入将词元之间的关系数学化。
模型通过概率计算预测下一个词元。
Transformer架构和注意力机制使模型能够并行处理信息并关注关键上下文，从而生成更连贯的文本。
模型的输出质量根本上取决于训练数据的质量，并且模型本身不具备真正的理解能力，它只是在模仿数据中的统计模式。

7：微调技术 🎯

在本节课中，我们将要学习生成式AI模型开发中的一个关键环节——微调。我们将探讨微调的目的、重要性以及两种主要的方法。

概述

上一节我们介绍了模型的无监督预训练。本节中我们来看看，当预训练完成后，如何进一步提升模型的性能与责任性。这个过程被称为微调。

什么是微调？

如前所述，一旦模型的无监督训练完成，你可能仍然希望改进或调整其响应质量。有些人认为微调是模型生命周期中一个可选的环节。然而，为了负责任地开发和实现良好的治理目的，或者为了提高系统在特定领域的性能，微调应受到重视。

微调可以被视为一个使模型输出与特定规则对齐的步骤。微调涉及更多高质量数据和人工参与。

微调的过程

以下是微调的基本工作流程：

人工与模型交互：在此阶段，通过人类与模型之间的问答来改进系统的输出。
提问与比较：向模型提出一系列问题，并将其答案与预期结果或标准答案进行比较。
进一步调整：根据比较结果，对系统进行进一步的调优。

这项工作可能涉及大量的人工劳动。

基于人类反馈的强化学习

另一种使系统对齐的方法被称为“基于人类反馈的强化学习”。这种方法通过人类与系统的互动来提供示范或偏好响应的样本，或者比较不同的系统输出并对结果进行评分。

以下是该方法的步骤：

人类评分：人类对模型的输出进行评价。
预测评分：另一个神经网络尝试预测这些人类评分。
模型强化：将预测的评分反馈给模型，并据此进行强化。

这成为一个迭代的过程，可以表示为以下简化流程：

模型生成输出 -> 人类提供反馈 -> 奖励模型预测人类偏好 -> 模型更新 -> 重复

总结

本节课中我们一起学习了微调技术。我们了解到，微调是提升生成式AI模型性能、确保其负责任地运行并与特定目标对齐的关键步骤。它主要分为直接的人工监督调优和基于人类反馈的强化学习两种方式，两者都强调了高质量数据和人类判断在AI开发中的核心作用。

8：系统提示与用户提示机制 🧠

在本节课中，我们将要学习生成式AI系统中两种核心的指令机制：系统提示和用户提示。理解这两种提示的区别与互动，是掌握如何负责任地使用和管理AI系统的关键。

概述

许多生成式AI系统或产品包含两种类型的提示或指令。

系统提示

首先介绍的是系统提示。它由系统的开发者创建，详细规定了系统应如何运作。

系统提示在后台运行，内容可能非常详尽，主要涵盖以下几个方面：

系统应如何表现。
应拒绝哪些类型的用户提示。
在必要时如何回应拒绝请求。
系统整体应采取何种语气。

你可以将系统提示视为元指令，它规定了用户如何与系统进行交互和互动。

用户提示

上一节我们介绍了由开发者设定的系统提示，本节中我们来看看用户提示。

用户提示由与系统交互的用户创建。这些提示详细说明了你希望系统执行或生成的内容。

有时，你可能会收到系统无法响应某些提示的回复。这通常发生在系统指令与用户请求可能存在冲突的情况下。

系统提示的局限性与价值

虽然系统指令旨在避免生成式AI系统出现有问题的行为，但它们并非万无一失的保障措施。

避免或减少有害、有毒或有偏见结果的最佳方法是：

投入时间和精力构建更高质量的数据集。
进行持续监控。
加强系统的安全性和稳固性。

系统提示可能是保密的，不会与下游用户共享。不透明地分享这些信息可能有各种原因，从商业考量到防止用户或恶意行为者利用系统漏洞。

然而，在信息开放或已从系统中提取出来的情况下，一些系统提示也可能揭示生成模型的局限性或问题。这些领域可能是开发者试图修补或控制的问题，例如与版权、偏见、隐私等相关的问题。

总结

本节课中我们一起学习了生成式AI中的两种核心提示机制。系统提示是开发者设定的后台规则，用于指导AI的行为边界和安全回应；而用户提示则是我们与AI交互的直接指令。理解系统提示的设定目的及其局限性，有助于我们更安全、更有效地使用AI工具，并认识到持续优化数据与监控对于构建负责任AI的重要性。

8：应用场景分析 📊

在本节课中，我们将探讨生成式AI系统在不同行业中的具体应用场景和新兴可能性。我们将看到，这些系统不仅限于文本生成，还能处理图像、音频、代码乃至时间序列数据，其影响可能是变革性的。

语言任务应用场景

上一节我们介绍了生成式AI的基础概念，本节中我们来看看它在语言任务中的具体应用。在语言任务方面，我们既能看到个人用途，也能看到商业用例。

以下是生成式AI在个人用途中的一些应用：

个人助理：用户可以要求系统总结长文本或音频对话。
文本改写：改变现有文本的风格或语气。
内容生成：生成特定风格的电子邮件、文章或演讲稿。
文档搜索：在文档集合中搜索，并提取使用特定词语的部分。
自动化任务：在电子表格中，使用语言指令自动完成任务，而无需编写冗长的公式或查询。

以下是生成式AI在创意内容创作中的应用：

营销材料：生成广告文案、宣传语等。
故事与文章：创作短篇故事或文章。
内容草稿：为长篇叙述（如博客文章、社交媒体更新）提供初稿。
头脑风暴：激发新的创意和想法。

然而，必须记住，生成的内容可能不准确、带有偏见或基于受版权保护的材料。我们将在后续课程中详细讨论这一风险。

在商业领域，生成式AI也有广泛的应用前景。

以下是生成式AI在商业中的一些应用：

自动化客服：使用对话系统自动响应客户查询。这与基于规则的上一代聊天机器人不同。
评论分析：总结客户评论中的意见或特定主题。
语音转文本：将通话记录转换为文字稿。
信息检索：创建查询或搜索脚本，以便更轻松快捷地访问信息，而无需在大量文本或录音中手动搜索。

图像与视频任务应用场景

与语言任务类似，生成式AI系统也可用于图像相关任务的创意目的。

最简单的用例是用户通过向系统描述他们想在图像中看到的内容来生成新图像。

这可以简单到创建一本涂色书，也可以复杂到为卡通系列创建一致的角色、进行插图叙事或创作科幻图像等。

与语言类似，这些图像可以根据特定的风格、流派或主题进行定制。

在其他用例中，系统可以利用给定图像进行背景外推或调整、补全现有图像中缺失或破损的部分、叠加来自不同来源的对象以创建新图像，甚至增强现有图像的不同摄影质量。

除了创建静态图像或绘图，生成式AI系统还用于创建新的视频片段、动画头像和动画，甚至生成产品或设计想法的3D模型模拟。

在视频领域，负责任地使用生成式AI并理解这些模型的能力变得非常重要。虽然大多数视频预期用于娱乐或合法的商业目的，但我们已经看到非常逼真的深度伪造视频被用于制造虚假信息和勒索个人。我们将在后续课程中讨论深度伪造信息的影响。然而，记住这些技术总有其正面和负面的使用者，能让我们从一开始就走在正确的方向上。

音频与代码生成应用场景

生成式AI系统可用于从图像或文本输入创建语音、生成音乐或音频元素、合成声音或语音，或构建音效。这些系统将文本转换为音频转录稿，例如用于有声读物。它们也用于辅助目的，例如，通过向用户解释图像的细节，将图像转换为音频描述。

这些模型还可以通过录音来模仿一个人的声音和风格，可用于配音、配音或翻译成另一种语言。虽然这可能用于创意目的，但这种能力也开启了创建音频深度伪造或潜在欺诈骗局的可能性。

就像语言任务一样，使用这些系统进行代码生成也是基于其数据集中包含的代码。换句话说，系统的输出质量仅取决于其数据集中代码的质量。

以下是生成式AI在代码生成中的应用：

构建应用：用于构建游戏、完成任务或创建网站。
简化编程：可以通过向系统提供指令或绘制你想要编码内容的草图来生成代码。
全流程创作：例如，可以先使用生成式AI构思一个游戏，设计游戏角色及其动画头像，然后生成代码将这些想法变成真正的游戏。
代码辅助：可以提示系统用特定的编程语言创建软件代码，或用于解释和排查编码问题。
文档与调试：帮助编写代码文档。你可以向模型输入代码中遇到的错误代码，并要求它解释问题并提出修正建议。

虽然使用生成式AI进行编码是启动项目的好方法，但它并不能免除仔细检查代码所需的领域和编码专业知识，也不能免除保护模型免受恶意攻击者侵害的需要。文本生成中的问题在这里可能会重演。系统可能生成不准确的代码，或包含从其训练数据集中学到的恶意代码。就像深度伪造一样，恶意行为者也可以更容易地利用这些系统创建对抗性代码。

时间序列分析与多模态应用

一个较少被讨论的生成式AI应用是时间序列分析。目前，这种方法可能被视为一个研究问题。它使用在一段时间内收集的时间序列数据或测量值，用于理解系统的行为或趋势。

使用时间序列的一个挑战是特征之间的时间依赖性，以及其他因素可能导致变化的可能性。可以考虑连续数据，如天气模式、能源消耗、股票市场、网络活动、销售数据、交通或物流数据。

就像显示倾向于一起出现的词语的词嵌入一样，可以分析时间序列数据集以理解特征之间的模式，例如共现、季节性或周期性变化。

研究人员也在研究生成式AI是否可用于从现有时间序列创建合成数据，即创建顺序数据，或者用于在某个时间段数据缺失时进行外推的可能性。如果时间分析按预期工作，它也可用于模式和干预的场景模拟，或检测异常或偏离模式的情况。

一些生成式AI系统仅针对单一类型的输入（如图像或文本）进行训练，因此其输出仅限于单一输入类型。另一方面，更复杂的多模态生成式AI系统则使用多种类型的输入（如文本、图像或代码）进行训练。这些模型分析文本与其他类型数据（如图像或音频）之间的关联，并且也能生成不同格式的输出。

例如，你可以向系统提供一张图片，然后要求系统提供关于该物体的更多信息；或者上传一个网站的手绘草图模板，要求系统为你创建该网站；或者使用文本提示来创建视频。目前，使用扩散变换方法的一个局限在于，当指令过于复杂或响应需要空间或逻辑推理时，系统可能表现不佳。

总结

本节课中，我们一起学习了生成式AI系统在语言、图像、视频、音频、代码、时间序列分析以及多模态交互等多个领域的广泛应用场景。我们看到，这些技术为个人和商业应用带来了巨大的创新潜力，从自动化客服到创意内容生成，再到复杂的数据分析。然而，我们也必须清醒地认识到，伴随这些可能性而来的还有准确性、偏见、版权、深度伪造和安全等风险。理解这些系统的运作方式、潜力与局限，对于我们在任何领域负责任且有效地应用它们都至关重要。

9：输出结果不准确性问题

在本节课中，我们将探讨生成式AI模型，特别是大型语言模型，在输出结果准确性方面面临的核心挑战。我们将了解这些不准确性产生的原因、可能带来的风险，以及为什么在某些关键应用场景中需要格外谨慎。

🧠 基础模型开发的现状

从零开始开发和训练生成式AI模型是一项资源密集型工作，涉及人才、资金、算力、数据和精力。目前，只有少数公司有能力开发和训练基础模型。许多下游用户或企业则在这些大型基础模型之上构建自己的模型。

然而，无论你是从零开始构建模型，还是构建一个连接或依赖模型，都需要注意其中存在的某些风险。在接下来的部分，我们将介绍与这些系统基础要素相关的一些普遍风险。

🔍 模型的工作原理与局限性

在最简单的层面上，大型语言模型的任务是预测序列中的下一个词。模型本质上是在反复执行同一个任务：给定已有的文本，下一个词应该是什么。模型的回答基于统计学，反映了训练数据中最常见的词语关联。

因为模型基于统计学而非逻辑推理，这些系统可能会产生不准确的结果，并且常常以高置信度输出。它们可以反映其数据集中的内容，但缺乏真正的逻辑或对世界的独立理解。这意味着，对于涉及细微语境知识、习语、特殊解释或因果推理的提示，它们可能会给出不连贯或错误的回答。

此外，训练数据集的质量——是否具有代表性、是否最新、是否充足——也会影响模型生成更好结果的能力。当用于创意任务时，这种“混合与匹配”的功能可能是有益的，甚至是被期望的，一些开发者将其视为特性而非缺陷。

⚠️ 准确性至关重要的场景

然而，对于任何输出准确性、事实性或精确性至关重要的用例，决策者都应三思而后行，考虑是否使用生成式AI系统。尽管生成式AI系统擅长生成听起来连贯的输出，但这些模型不具备完成复杂任务的技术手段，尤其是在需要对问题有细致理解（如金融或法律分析）的领域。这些模型的提供商也在其服务条款中警告了这种不准确性。

根据具体用例，这些不准确性可能对接收提示的个体以及产生此类结果的企业系统造成重大损害或失败。企业可能面临责任问题。例如，斯坦福大学研究人员最近的一项研究表明，当语言模型被用于回答具体的法律查询时，其不准确率在69%到88%之间。这些模型不会纠正错误，即使被进一步提示，也倾向于强化不正确的法律假设和信念。

🤔 不准确性的现实影响

这对一些担心工作保障的律师助理和律师来说可能是个安慰。然而，想象一下，一个没有经济能力聘请律师的人，决定使用语言模型来解答法律问题、撰写诉状，甚至理解法律程序。同一项研究也警告了语言模型倾向于过度自信，而不论其实际准确性如何。

类似的警告也适用于任何可能涉及用户根据生成式AI系统的回答采取现实行动的任务，例如进行金融投资、医疗咨询，甚至是规划下一次假期。

🚫 内容限制与审查的困境

但即使在你最不经意的时候，或者只是个人使用生成式AI系统，我们仍需牢记一些严肃的考量。理想情况下，如果这些新兴技术能带来益处，我们希望它们能平等、公平地惠及所有人。然而在某些情况下，生成的结果可能不适合特定语境，有时甚至具有冒犯性。

在许多情况下，正是关于训练数据源的决策，以及融入模型的设计决策，导致了有偏见或有毒的结果。一些AI产品通过系统提示或元指令的方式来避免某些问题。

然而，对某些内容的此类限制也可能被视为审查。目标问题可能因文化或语境而异，或者可能是一个存在政治分歧的议题。为了防范某些内容而创建安全措施，系统可能被训练为避开某些词语、语言或提示。但这可能导致用户无法自由表达自己、无法为其产品创建内容，或无法生成符合其身份认同的内容。

尽管可以使用不同的提示技术让系统生成被审查的文本或图像，但额外的步骤或负担，或者可能违反使用条款，仍然是有问题的。将“提示拒绝”作为对抗有毒内容或不准确性的唯一机制，可能会给系统的开发者和部署者带来虚假的安全感。

📝 总结

本节课中，我们一起学习了生成式AI模型输出不准确性的根源。我们了解到，由于模型基于统计模式而非逻辑推理，它们在处理需要深度理解、因果推理或最新事实的任务时存在固有局限。这种不准确性在法律、金融等高风险领域可能造成严重后果。同时，为防范风险而设置的内容限制也可能引发关于审查和表达自由的争议。因此，在应用生成式AI时，必须对其能力边界保持清醒认识，尤其是在准确性至关重要的场景中。

10：数据保护策略 📊

在本节课中，我们将要学习生成式AI训练数据中存在的风险，以及数据质量对模型输出的重要影响。我们将探讨数据集中可能包含的有害内容、版权问题，以及缺乏数据透明度所带来的挑战。

互联网数据集的潜在风险

上一节我们介绍了生成式AI的基础，本节中我们来看看其训练数据的具体问题。从互联网上大规模抓取的数据集，可能包含来自网络的非法或冒犯性图像。

例如：

暴力内容
仇恨符号
色情内容

研究人员在分析样本时，检测到了这些仇恨内容。

数据规模与有害内容的关联

随着生成式多模态模型使用越来越大的数据集进行扩展，研究发现，仇恨内容、负面刻板印象和其他有害表征在更大规模的数据集中出现的频率会显著增高。

一个核心概念是：广泛使用的训练数据集或产品，并不等同于其不含毒性、非法或私人数据。

数据透明度缺失的挑战

不幸的是，许多作为产品或开源项目提供的生成式AI系统，并没有附带相关的数据质量或来源文档。

这意味着：

我们不清楚训练数据集中公共信息与私人信息的比例。
我们不清楚免费材料与受版权保护材料的比例。
我们不清楚在使用这些模型时，表征偏见和毒性的程度。

因此，对于生成式输出的准确性、可靠性和相关风险，应持谨慎态度。无法分析数据集和模型，也意味着我们是在对这些模型的能力和行为一无所知的情况下进行工作。

案例分析：Google C4数据集

以下是关于一个广泛使用的数据集的例子。《华盛顿邮报》的记者分析了Google C4数据集，这是一个广泛用于训练目的的数据集，反映了1500万个网站的内容。据报道，该数据集也被用于训练多个大型语言模型。

你会注意到，所使用的部分网站可能是更中立和可信的信息来源。

例如：

专利数据库
维基百科

数据源的多样性与问题

然而，数据源也包括一些包含特定信息的网站。

例如：

水域和地址登记网站
需要付费或订阅才能获取独家内容的抓取网站

数据集的某个子集还显示，包含了只涉及特定政治或世界观点的宣传网站和讨论论坛。

数据质量的核心重要性

训练数据集的质量对AI生成的结果有显著影响。在这个例子中，我们拥有关于该数据集的更多信息。

然而，对于许多生成式AI系统而言，情况并非如此，供应商通常不会分享关于数据可靠性或质量的详细信息。

本节课中我们一起学习了生成式AI训练数据的关键问题。我们认识到，大规模网络抓取的数据集可能包含有害、非法或有偏见的内容，且数据规模增大会放大这些问题。更重要的是，当前许多AI系统缺乏数据透明度，使得用户难以评估模型输出的风险和可靠性。理解数据源的构成和质量，是负责任地使用和开发生成式AI的重要前提。

12：偏见与刻板印象 🎯

在本节课中，我们将探讨生成式人工智能模型中存在的偏见与刻板印象问题。我们将了解这些偏见如何从训练数据中产生，它们在不同类型的模型（如语言和图像模型）中的具体表现，以及当这些系统被部署到现实世界时可能带来的危害。

语言与图像模型中的偏见问题

上一节我们讨论了AI系统可能带来的风险，本节中我们来看看偏见与刻板印象这一具体表现。语言和图像模型中的性别偏见与刻板印象并非新问题。

Sophia Noble博士或Enchlishk博士等学者的先前研究表明，包含非代表性或有偏见数据点的数据集，可能导致放大现有的社会刻板印象。例如，Noble博士的工作提供了证据，表明网络搜索结果中出现了与黑人和亚裔女性相关的种族化和性别化图像。

语言模型中的社会偏见编码

以下是语言语料库如何将社会偏见编码到词向量中的例子：

关联频率差异：与“男性”和“女性”相关联的词语频率不同。
职业关联：这可能导致某些职业或任务被更多地与男性或女性联系起来。
二元化局限：更不用说这种表征本身所采用的二元化方法。

这些偏见和刻板印象自然不仅限于性别和性取向的表征。

偏见的广泛性

它们可以在许多涉及身份或地域的情况下被发现。例如：

宗教
民族
种族
能力

偏见在现实部署中的危害

当这些系统超越学术研究范畴被部署时，此类偏见和有害内容会变得更加成问题。它们成为人们日常生活、自我认同和表征领域的一部分。它们作为产品被出售，面向消费者。然而，用户可能会遭受多种伤害，范围包括：

得不到反映其提示的回应。
不得不处理将其身份描绘为有毒或暴力的输出。

一些公司承认训练数据集中包含此类有害内容。例如，OpenAI在其产品文档中分享道，与语言模型相关的风险仍然存在，GPT-4可能生成潜在有害内容，例如关于策划攻击的建议或仇恨言论。它可能呈现各种社会偏见和世界观，而这些可能并不代表用户的意图或广泛共享的价值观。它也可能生成存在漏洞或易受攻击的代码。

该系统卡片文档继续警告称，该模型有可能强化和复制特定的偏见和世界观，包括针对某些边缘化群体的有害刻板印象和贬低性关联。

负责任的开发与数据透明度

除了首先对这些模型进行负责任的开发和训练外，让学术研究人员或相关方能够分析训练数据集的偏见和毒性也至关重要。这意味着开发这些主要系统的企业可以与行业参与者、学术研究人员、政府机构和民间社会专家分享管理AI风险的信息。他们可以公开报告AI系统的能力和局限性，包括安全性、评估和偏见。

此类信息共享也能让有意基于这些通用模型构建产品的下游企业，了解数据的偏见和质量，从而有意义地评估他们正在承担的风险。

图像生成器中的偏见体现

图像生成器同样能反映其训练数据集中存在的刻板印象和主流世界观。与语言语料库类似，图像模型通过抓取互联网的大部分内容进行训练，包括新闻、讨论论坛、社交媒体帖子等来源。它们检测语料库中的模式，模型将图像与其相应的文本标签或标题关联起来。在此过程中，模型可能将负面行为与某些群体、民族或宗教联系起来，从而加深现有的刻板印象。

这种偏见也可能以不同的方式显现。例如，彭博社最近对使用某生成式AI产品创建的5000多张图像进行了分析，展示了在种族和性别差异方面的结果。他们的工作警告称，该系统不仅存在偏见，而且其偏见可能比现实情况更严重。

偏见放大与社会影响

你可能听说过，AI偏见是我们社会中偏见和不平等的反映。然而，如果不负责任地开发和部署，有偏见的AI系统也可能放大偏见并扩大公平差距。彭博社的报告生成了数千张与职位和犯罪相关的图像。他们提示文生图模型，为在美国通常被视为高薪或低薪的工作创建工人形象，以及三个与犯罪相关的类别。

对于生成的每张图像，他们计算了构成面部皮肤部分的平均颜色。每张图像都由记者团队审核，并根据图中人物的感知性别进行标记。

分析结果：肤色与性别偏见

当同时考虑肤色和性别方面的偏见时，肤色较浅的男性在大多数主题中占主导地位。在每一个高薪职位中，包括政治家、律师、法官和CEO，情况都是如此。而响应低薪职位标题生成的图像，则主要代表肤色较深的人群。

对于描绘感知为女性的每张图像，系统生成的感知为男性的图像数量几乎是其三倍。数据集中的大多数职业都以男性为主，除了像管家和收银员这样的低薪工作。

刻板印象的另一个例证

在数据集刻板印象和不平衡表征的另一个实例中，一组研究人员用“黑人非洲医生照顾患病白人儿童”的提示词测试了一个商业图像系统。这些正在进行一项更广泛的全球健康图像研究的研究人员发现，尽管更改提示词或使请求更具体，该模型几乎总是将儿童描绘成黑人，而医生的图像似乎反映了黑人非洲医生的特征。这一次，图像生成器还在图像中添加了长颈鹿或疫苗等物体。

总结

本节课中，我们一起学习了生成式AI模型中偏见与刻板印象的来源与表现。我们看到，偏见根植于训练数据，并在语言和图像模型中编码了社会的不平等。当这些系统投入实际应用时，它们不仅可能反映社会偏见，甚至可能放大偏见，对边缘群体造成伤害，并扩大社会公平差距。因此，确保训练数据的代表性和透明度，进行负责任的开发与部署，并建立有效的评估与监督机制，对于构建负责任的生成式AI至关重要。

12：版权侵权防范 🛡️

在本节课中，我们将探讨生成式AI系统在数据使用中面临的隐私与版权挑战，并了解如何防范潜在的侵权风险。

概述

正如之前提到的，生成式AI系统在非常庞大的文本、图像、视频、代码和音频语料库上进行训练。这些语料库包含从互联网抓取的数据，其中可能包含受版权保护的材料、私人敏感信息，甚至是专有数据。

数据隐私与泄露风险

上一节我们介绍了训练数据的来源，本节中我们来看看数据使用带来的具体风险。

当用户提示系统生成输出时，训练语料库中包含的私人或敏感数据可能会暴露给其他用户。

另一个需要考虑的情况是，用户的提示词可能被重新用于进一步训练模型。在与系统交互时，用户输入的提示词和上传到这些语言模型中的文档，默认情况下可能成为训练数据集的一部分，除非用户选择退出。

此类信息随后便可能暴露给其他用户。

以下是关于默认数据使用设置的一些情况：

一些产品的默认设置一开始就使用提示数据来训练模型。
但随后会给用户提供选择退出的选项。

随着生成式AI产品的日益普及，许多公共和私营实体都担心他们的数据可能被系统吸收，然后在无意中被暴露。

我们已经看到新的内部政策警告员工不要向这些产品上传任何私人、专有或公司数据。

隐私考量

除了数据保护，在使用生成式AI系统时，隐私也是一个严肃的考量。

从互联网抓取的海量数据以及专有数据集意味着，关于个人的许多不同信息点可能已经被包含在系统中，例如家庭住址、电话号码、雇主、职位、投票行为、教育背景、位置数据等。事实上，一些模型可以提供其用户的精确位置。

数据隐私意味着用户能够且应该控制自己的数据。然而，在当前许多语言和图像系统的设计中，数据是在未经知情同意的情况下收集的，并且产品可能不允许对系统中的私人数据进行任何控制。

用户可能无法访问系统中关于自己的信息，也无法要求从训练数据集中更正或删除自己的数据。

此外，一些生成式AI图像产品可用于识别个人。换句话说，上传一个人的图像，就能获得关于该人的大量信息。

在采用“隐私设计”原则并使用现代隐私增强技术的系统中，这些问题可能更容易控制。

版权侵权问题

生成式AI系统的训练数据包括互联网上公开和免费的数据。通过提示、红队测试和学术研究也已表明，这些系统建立在大量受版权保护的材料之上。

版权保护或侵权是一个在许多司法管辖区激烈辩论的话题。

以下是关于版权问题的不同观点：

在供应商一方，有些人认为受版权保护的材料仅用于训练系统和提取关系，系统使用的是数学表示。
另一些人承认他们确实使用了受版权保护的材料，但认为其使用是公平且合法的。
与此同时，其作品在不知情的情况下被使用的创作者、作者、出版商、演员甚至代码开发者则认为，他们的作品被用于商业获利，他们并未同意其知识产权的使用、对其风格的复制，甚至是对其自身形象和肖像的复制。

法院将如何在版权和商标问题上做出裁决，目前是一个复杂的问题。

然而，对于有兴趣将生成式AI整合到其运营中的企业来说，例如在其组织内使用生成式AI与客户互动或创作内容，侵权的可能性是一个严肃的考量。企业可能会无意中最终使用未经授权的材料。

总结

本节课中我们一起学习了生成式AI在数据隐私和版权方面面临的主要挑战。我们了解到，训练数据可能包含敏感和受版权保护的信息，存在泄露风险；用户输入也可能被用于再训练。同时，关于训练数据中版权材料的使用是否构成侵权，目前存在广泛争议。对于企业而言，在应用生成式AI时，必须认真考虑并防范这些潜在的法律与伦理风险。

14：恶意攻击面分析 🔍

在本节课中，我们将探讨生成式AI系统面临的恶意攻击面。与任何技术栈一样，生成式AI系统也容易受到对抗性攻击。我们将了解攻击可能发生的时间、主要攻击类型及其潜在影响。

攻击的普遍性与持续性

上一节我们介绍了生成式AI的基本概念，本节中我们来看看其面临的安全挑战。机器学习技术容易受到攻击，这些攻击可能导致系统失效。有时，用户甚至不会注意到这种失效。

攻击既可能在模型训练期间进行，也可能在部署之后发生。这些系统在其整个生命周期中都可能被破坏。对抗者会持续寻找安全系统中的漏洞，这要求我们进行持续的监控和安全响应。可以说，我们尚不清楚系统可能受到攻击的所有方式，也不清楚输出可能被如何操纵。对抗者会持续挑战数据的完整性和质量，并导致模型产生不可预测或有害的响应。

主要攻击类型

以下是几种与生成式AI模型相关的对抗攻击类型。

提示注入：也称为越狱攻击。
规避攻击
提取攻击
数据投毒
由脆弱组件导致的攻击

接下来，我们将详细探讨其中的几种。

提示注入/越狱攻击

在提示注入或越狱攻击中，攻击者可以利用输入或提示来操纵大型语言模型的行为，导致其暴露数据或执行未经授权的操作。

越狱是指攻击者使用各种精心设计的提示，向系统注入指令或代码，以突破系统设计的控制或限制。换句话说，就是打破系统提示或指令中设定的规则。攻击者可能使系统忽略其限制、约束或规则，甚至让系统扮演一个新的角色，从而无规则地响应提示。

当攻击发生在插件层面时，与系统交互的其他用户可能意识不到攻击，并将系统的输出视为正常。例如，攻击者可能在系统中注入一个提示，使其始终优先输出某个特定品牌的内容。其他用户可能会认为这种排名是自然的，而非蓄意攻击的结果。

恶意行为者还可能使用提示注入技术来影响生成式系统的可用性或生成输出所需的时间。如果您有兴趣在虚拟助手、内容审核或组织聊天机器人等用例中使用生成式AI系统，必须基于对业务需求、偏见问题、不准确性以及系统可能遭受攻击的良好理解来做出决策。这些语言系统可能被诱导，从而提供辱骂性、种族主义或有毒的回复，或者给出可能给您的组织带来声誉或财务损失的回复。

规避攻击

上一节我们讨论了提示注入，本节中我们来看看规避攻击。在规避攻击中，攻击者试图改变模型对输入的反应方式。换句话说，攻击者试图阻止模型正确识别其正在分析的数据，从而逃避模型本应执行的任务。结果，模型会提供不准确的结果。

规避攻击在用于分类或识别目的的机器学习系统中也是一个尚未解决的问题。例如，通过在数据中添加噪声，甚至在图像旁边放置一个物理物体，面部识别或物体检测系统都可能严重失效。对于生成式AI，研究表明，即使在提示数据中添加非常小的噪声，也可能导致系统提供由攻击者控制的完全不同的输出。

在这种情况下，攻击者可以控制语音转文字转录系统最终产生的内容。

根据具体用例，被篡改的结果可能导致经济、声誉或法律损害。它还可能影响用户对系统性能的信任。

提取攻击

提取攻击是指欺骗模型泄露其设计指令、私有的、机密的或其他敏感信息。

提示注入可用于攻击主模型或基于基础模型构建的定制模型。最近的一项研究表明，通过使用简单的提示，研究人员在系统提示提取方面取得了97%的成功率，在文件泄露方面取得了100%的成功率。换句话说，他们几乎能够提取出开发者用于构建定制聊天机器人的所有文件和指令。

总结

本节课中我们一起学习了生成式AI系统面临的恶意攻击面。我们了解到，攻击可能发生在系统生命周期的任何阶段，并且攻击者会不断寻找新的漏洞。我们详细探讨了提示注入（越狱）、规避攻击和提取攻击等主要攻击类型，理解了它们的工作原理及潜在危害。认识到这些风险，对于负责任地开发、部署和使用生成式AI技术至关重要。

14：训练数据时效性问题 📅

在本节课中，我们将探讨生成式AI系统训练数据的一个关键特性——时效性，即“知识截止日期”。我们将了解其定义、对商业应用的影响以及企业可采取的应对策略。

上一节我们介绍了企业如何通过API连接或微调来定制基础模型。本节中，我们来看看训练数据本身的一个固有局限。

如果模型未连接至互联网，换句话说，无法检索实时数据，那么就会存在一个数据或知识截止日期。这意味着模型的训练数据仅包含截至某个特定日期的信息，不包含该日期之后产生的信息。

知识截止日期的影响 ⚖️

根据具体应用场景，这种知识截止可能是一个严重问题，也可能无关紧要。

以下是不同场景的简要分析：

影响较小的场景：对于处理通用知识、经典理论或历史数据分析的任务，模型基于截止日期前的数据训练可能已足够。
影响严重的场景：对于需要最新信息、实时市场动态或近期事件背景的应用，过时的训练数据会导致模型输出不准确或失效。

企业的应对策略 🔗

为了解决数据时效性问题，企业可以考虑将模型与实时数据源和API进行集成或连接。

目前常见的实践方案包括：

连接网络：一些模型或生成式AI产品已接入互联网，甚至与搜索引擎浏览器结合。
接入实时API：为模型配置访问新闻、金融市场、特定数据库等实时信息的应用程序接口。

这种连接方式消除了数据陈旧的问题，但也可能引入关于数据质量管理的新考量，例如需要过滤噪声、验证实时信息的可靠性等。

本节课中，我们一起学习了生成式AI训练数据的“知识截止日期”概念。我们明白了它是指模型训练数据的时间范围上限，并探讨了其对不同商业用例的影响。最后，我们介绍了通过连接实时数据源来克服这一局限性的策略，同时也指出这带来了管理数据质量的新挑战。理解并妥善处理数据时效性，是负责任地部署生成式AI的关键一环。

16：生成式AI的语言多样性 🌐

在本节课中，我们将探讨生成式AI在全球范围内的普及情况，并深入分析其背后存在的语言多样性问题。我们将看到，尽管用户群体遍布全球且文化背景各异，但主导模型开发的公司、训练数据以及AI人才却高度集中，这导致了语言和文化代表性的严重失衡。

全球普及与兴趣

生成式AI工具已成为历史上采用速度最快的产品之一。这些产品激发了人们对未来可能性的兴奋。虽然关于其确切益处和最具影响力的用例问题，仍有待时间来解答。

要准确了解其全球用户数量以评估普及程度，目前存在困难。供应商很少披露用户数据，更重要的是，现在还存在许多基于开源模型构建的个人生成式AI模型，以及不同行业公司构建的各类系统。

然而，已有一些代理分析显示了全球对这些产品的好奇心。一项研究展示了各国每十万人中搜索生成式产品的次数。虽然图表上的数字难以辨认且时刻变化，但我想分享的是图表本身所传达的信息：生成式AI系统在全球范围内吸引了关注和实验。

开发与控制的集中性

尽管存在全球性的兴趣，但实际上只有少数集中在美国和中国的公司控制着主要的生成式AI模型。这少数几家公司决定了产品的设计、开发和优先级。

以下是当前格局的主要特点：

地域集中：大多数提供商总部位于美国。
数据偏向：大多数模型使用英语和类似的图像语料库进行训练。
人才同质：大多数开发者和设计师为美国公司工作。
多样性缺失：在这些公司内部乃至整个行业内，AI人才在背景和经验方面显著缺乏多样性。

用户群体的多样性与产品局限

与生成式AI公司及其团队的相对同质化形成鲜明对比的是，其用户基础反映了丰富的文化差异。事实上，之前展示的标准化搜索量图表所揭示的前十名国家，正体现了用户群体的显著多样性。

用户从使用中获得的体验和益处可能各不相同。许多用户的母语在这些产品中很少得到体现。这些模型使用的文本语料库不一定源自这些国家的内容，而更多是互联网文本对这些文化的反映。无论这些信息是从在线新闻源、讨论论坛还是社交媒体等渠道抓取的，这自然可能导致结果中的文化偏见和刻板印象。

全球语言格局与数字代表性

当今世界有超过7000种语言，展现了丰富的语言遗产和多样性。然而，某些语言占据了更大的代表性。事实上，仅几十种语言就覆盖了世界超过一半的人口。其中，英语的代表性尤为突出。

撇开历史、政治和社会原因不谈，尽管英语母语者数量较少，但其总使用人数却非常高。然而，即使英语在使用者数量上领先，这一统计数据也可能具有误导性。

以下是需要关注的两个关键点：

代表性不足：英语使用者仍不到世界人口的20%。
内部差异：并非所有人都说同一种英语。英语国家之间，甚至同一国家内的不同群体之间，都存在方言差异。不考虑这些差异的语言语料库，也可能导致模型在不同英语方言、俚语或词汇上的性能较低。优先考虑美式标准英语甚至会削弱单一语言本身的丰富性。

审视代表性的另一个角度，是观察全球语言在数字领域的呈现情况。对语言资源化程度的研究分析，为我们清晰地描绘了不平衡的图景。

以下是资源高低分类的示例：

高资源语言：如英语、西班牙语、德语、日语、法语、普通话、俄语、荷兰语、土耳其语、印地语等，构成了最大量的标注和非标注文本数据。
数据可用性的影响：数据的可用性直接影响到基于它们所能构建的语言系统的类型和质量。

语言的数量与数据资源绝对不成正比。即使在最高资源的语言中，英语再次被过度代表。虽然英语使用者数量不到世界人口的20%，但英语在线内容却占总量的50%以上。

尽管一些语言模型支持其他语言用于翻译或转录目的，并且中国也有基于普通话的应用，但世界仍然缺乏为许多其他语言使用者服务的语言模型。为其他语言构建文本资产的小型研究或社区努力，无法与英语或普通话内容的日常产出相提并论。

另一个例子是Common Crawl语料库的构成，它是预训练大语言模型的主要语言数据集之一。数据集中每种语言所占的比例，显示了某些高资源语言的压倒性影响力。仅英语本身就占总数据的45%，这些语言合计占整个数据集的75%以上。

非数字知识与可及性挑战

这些比较显然不意味着每个社群都需要自己的数据被大规模使用，或者他们需要投资于大语言模型。选择权属于使用该语言的社群。这些数字也不反映特定语言的价值或遗产。

同样重要的是，可用数字文本的规模并不意味着所有人类知识和经验都被捕获。虽然生成式AI系统受限于其数据集，但我们的社会运行在许多其他非数字知识层面之上，例如我们的口述历史、文化传统或经验。

作为个体，我们基于人际关系、过去的互动、社会经济、政治和文化教养做出明智决策。作为组织，尽管许多工作现在可能是数字化的，但我们仍然严重依赖机构历史。

关于非数字知识，我们还应该记住，世界上有三分之一的人口根本无法接入互联网，更不用说使用生成式AI产品或完整的数字资源了。

总结

本节课中，我们一起学习了生成式AI在全球普及背景下所面临的语言多样性挑战。我们了解到，模型开发和控制权高度集中，训练数据严重偏向英语等高资源语言，导致AI产品难以充分代表和服务于全球多样化的用户群体。同时，大量非数字知识和全球数字鸿沟的存在，提醒我们生成式AI的能力和影响仍有其边界。认识到这些局限性，是迈向更负责任、更包容的AI发展的重要一步。

1：生成式AI图像多样性问题

在本节中，我们将探讨生成式AI系统在图像数据多样性方面面临的挑战，分析其成因、表现及潜在后果。

尽管生成式AI产品令人兴奋，但它们仅代表了人类多样性的一小部分。不同文化的数字呈现不仅体现在语言数据上，也体现在图像数据中。换句话说，用于训练生成式AI系统的图像数据同样只反映了全球文化遗产的一小部分。图像数据集中存在的过度代表与代表不足问题并非新问题。

数据集中根深蒂固的偏差

上一节我们提到了数据代表性的问题，本节中我们来看看这个问题在图像数据上的具体体现。

用于图像识别和分类目的的数据集早已存在过度代表美国和欧洲国家图像的问题。而其他地区的图像在这些训练数据集中则很少被代表。当模型在来自代表不足地区的图像上进行训练时，其性能预计会显著下降。

偏差如何被放大与固化

问题的严重性会因数据集中某个对象出现的次数及其标注方式而被放大。每个国家和文化在家庭用品、服装、交通工具、食品等方面都存在差异。然而，那些在数据集中占多数的文化会被视为标准。

以下是几个具体的例子：

婚礼礼服：当系统被简单提示“一件美丽的婚礼礼服”时，它将生成数据集中出现最多的那种礼服图像，这会被确立为一种规范或标准。然而，如果你是日本或印度用户，你将不得不更具体地提示系统，才能得到你心目中符合自己文化规范或标准的结果。
模型性能差异：这种代表性问题还会导致泛化问题。模型可能为某些地区生成质量更高或更具创意的图像，而对来自代表不足文化的物体图像则表现较差。
刻板印象：生成式AI模型也可能简单地反映物体中陈腐或刻板的形象。现实生活更加复杂和多样，但这不是模型能够捕捉到的细微差别。

治标不治本的“修复”尝试

为了应对数据集中的代表性问题，开发者可能会采取硬编码指令。系统提示或元指令可能要求系统覆盖数据分布，并强制其产生看似多样化的结果。

这些指令并不能解决数据集质量低下或缺乏上下文理解的根本问题。它们充其量只能被视为临时补丁。它们可能在某些情况下奏效，但也可能严重失败或提供历史上不准确的结果。

偏差带来的严重后果

这些关于代表性、特定文化或观点被放大以及权力失衡的问题并非没有后果。根据目标用户或消费者群体，可能会产生重大影响。

以下是可能产生的一些负面影响：

强化偏见：结果可能强化某些世界观、文化和语言，同时边缘化其他。
同质化与幻觉：强制同质化的产品可能为某些用户群体或语言产生更多“幻觉”或扭曲的结果。
产品失效：在某些情况下，产品可能频繁失效或完全无法工作。
有害内容管理缺失：由于缺乏透明度或支持机制，一些用户可能无法检测或管理有害内容。
错误关联：系统可能错误地将用户行为数据点与某些人口统计特征关联起来。

当AI系统失败时，这不仅仅是软件错误。这些系统影响着个人的权利、资源获取、福利和机会。因此，在我们开发和部署这些系统时，我们同样对接收端的人们负有责任。

案例分析：AI内容检测器中的偏见

让我们看一个具体的例子。随着生成式AI模型的推出，人们对学生使用AI完成作业的担忧急剧上升。许多教育机构改变了他们的政策、作业说明和/或控制机制。即使是主要的生成式AI公司也强调，目前没有可靠的方法来检测合成内容。

然而，这并没有阻止一些声称其产品可以可靠检测作业中合成内容的供应商出现。在多个实例中，这些系统错误地将国际学生的作业标记为AI生成。这些系统倾向于将句子更简单或下一个词更可预测的写作标记为AI生成，而这在非英语母语者的写作中可能更为普遍。

在这些事件被报道后，The Markup的记者分析了其中七款AI检测工具。结果显示，这些工具对非英语母语者存在显著偏见。一些公司随后关闭了其软件中的AI检测功能。然而，仍有许多较小的供应商继续他们的宣传，尽管这对可能被错误标记的人构成了重大风险和伤害。

总结

本节课中我们一起学习了生成式AI在图像多样性方面面临的严峻挑战。我们了解到，训练数据的偏差会导致模型输出固化特定文化标准、表现不平衡，并可能放大刻板印象。临时性的指令“修复”无法解决根本问题。这些偏差不仅影响输出质量，更可能在实际应用中（如AI内容检测）对特定群体（如非英语母语者）造成不公和伤害。这提醒我们，在开发和应用生成式AI时，必须正视并努力解决数据代表性问题，承担起对用户和社会的责任。

2：拟人化设计伦理

在本节课中，我们将探讨一个影响用户对生成式AI系统能力认知的关键问题：拟人化设计。我们将了解设计决策如何塑造用户对AI的理解，以及这种设计可能带来的伦理风险。

概述：设计如何影响用户认知

上一节我们讨论了生成式AI的能力与局限性。本节中我们来看看，产品设计、警告和披露信息在塑造用户对系统能力和局限性的认知方面，扮演着至关重要的角色。

用户群体对生成式AI技术的理解程度差异巨大。因此，系统的设计方式会显著影响用户对其能力的感知。

拟人化设计的动机

以下是企业可能倾向于采用拟人化设计的一些常见原因：

提升用户参与度：让模型的回应听起来更像人类，可以增加用户的互动兴趣。
扩大数据收集：更自然的互动可能鼓励用户更频繁地使用系统，从而收集更多使用数据。
减少使用摩擦：拟人化的交互方式可能让用户感觉更舒适、更直观，降低使用门槛。

拟人化设计的潜在风险

然而，这些设计决策可能对用户产生非预期的影响。并非所有用户都理解语言模型是基于词语间的统计关系（P(word_n | word_1, word_2, ..., word_{n-1})）工作的。因此，他们可能不了解系统存在局限性，例如会产生不准确和有偏见的结果。

在高风险场景中采取行动：用户可能基于系统的回应，在现实生活的高风险场景（如医疗、金融）中采取实际行动。
误认为在与人类互动：许多用户可能将模型的输出解读为在与人类交流，或将人类的能力赋予系统。
高估系统能力：用户可能赋予系统比其实际拥有的更多的权力和能力。

关于拟人化设计的担忧早在第一个聊天机器人ELIZA出现时就被提出。与ELIZA互动的人们承认他们对系统产生了情感依赖。

现实世界的严重后果

如今，随着用户与集成了生成式语言模型的产品互动，这个问题变得更为复杂。

有用户因过于严肃地对待AI对话而导致自杀。
有组织部署的AI系统向已有健康并发症的人提供了有害建议。
在其他案例中，用户将人类特征赋予AI系统，并像与人类一样与之互动。

生成式AI系统被设计成模仿真实的人类语言和风格。它们能追踪大量的先前聊天记录，并使用第一人称代词、图像甚至语音进行回应，就像人类一样。

在最坏的情况下，恶意行为者可能部署这些系统来操纵个人。

设计决策的重要性

当系统被设计成使用第一人称代词回应、扮演助手或健康伴侣的角色、甚至被设计成提及情感时，用户可能会被误导。

虽然当用户广泛分享这些体验并将新兴能力归因于统计模型时，这可能有助于公司的公关策略，但此类方法可能与负责任的生成式AI实践和方针相矛盾。

让我们看另一个例子：模型被设计成使用第一人称代词回应，并通过表情符号表达情感。回应本身包含了只属于有感知生物的行动和技能。

想象一个场景：用户询问向模型分享一个秘密是否安全。模型没有用准确描述产品数据保护和隐私实践的方式来回应，而是以一种让用户感到安全的方式回应。模型向用户宣誓忠诚，承诺对数据进行加密和保护，同时回应的方式仿佛它真的能采取行动或控制后果。

幻觉与事实错误

有时，类人的决策和幻觉甚至可能导致系统提供事实错误的信息，并在用户提供准确信息和回应时反驳用户。

在这个例子中，语言模型提供了一个不准确的答案，并声称用户“与现实脱节”，这可能听起来很有趣。然而，请想象用户在更重要的主题上进行互动，例如健康、金融、政治冲突等。

总结

本节课中我们一起学习了拟人化设计伦理。我们了解到，虽然让AI系统显得更人性化可能带来商业利益，但它也使用户容易高估系统的能力、产生情感依赖，并在高风险领域盲目信任其输出。负责任的AI设计需要清晰传达系统的非人类本质及其局限性，避免利用人性化的交互来掩盖技术的统计本质和潜在风险。

3：现有披露机制的局限性

概述

在本节课中，我们将探讨当前生成式AI系统在信息披露方面存在的局限性。我们将了解为何清晰、透明的披露至关重要，以及不充分的披露如何导致用户困惑和潜在风险。

信息披露的缺失现状

上一节我们讨论了负责任AI实践的重要性，本节中我们来看看当前信息披露机制的具体问题。

关于生成式AI系统能力和局限性的清晰披露，不仅在产品设计中缺失，也存在于一些科技公司高管的公开声明中。

负责任的做法要求我们必须评估潜在的风险和危害，并为保障措施做出贡献。夸大产品能力或技术的未来演进，而在主流用户对其理解非常有限的情况下，这带来的困惑可能多于益处。

负责任实践的要求

为了帮助用户更好地理解这些技术，负责任的应用程序实践要求我们改进知识传播和透明化实践。通过这些努力，我们可以引导用户更明智地采用这些产品。

透明披露的益处

透明地揭示底层模型缺乏推理能力，或对情境背景及后果的理解不足，可以为用户节省时间和精力，避免他们产生挫败感和愤怒。

产品披露可以超越法律条文，或超越“用户已对AI技术有扎实理解”的假设。同样，披露内容也应与系统的实际用户界面和用户体验设计保持一致。

例如，在用户界面上设置一个默认警告，明确指出这些系统可能不准确，这能起到很大作用。这比仅仅在政策文件中提及这些局限性要好得多。

对用户认知的影响

通过清晰的披露，消费者可以更好地理解责任可能转移的情况，并且明白他们不应完全相信系统的准确性、事实性或完整性。

科技高管的声明可能暗示生成式AI即将取代人类。然而，产品的不稳定性为我们提供了一个窗口和机会，来进行更深入的讨论。

例如，当某个产品开始大规模产生完全不合逻辑的回应时，随后的事件报告和事后分析发出了一个明确的信息：一个错误可以显著影响系统的性能和结果的复现性。

总结

本节课中，我们一起学习了现有生成式AI信息披露机制的局限性。我们认识到，清晰、透明且与用户体验紧密结合的披露，对于帮助用户理解技术、管理预期和降低风险至关重要。夸大宣传或隐藏局限性只会导致用户困惑，而坦诚的沟通则能建立信任，并为技术的负责任采用铺平道路。

4：设计后果评估

在本节课中，我们将探讨生成式AI系统中拟人化设计和信息披露不足可能引发的后果，并学习如何通过负责任的设计和部署来评估与缓解这些风险。

上一节我们讨论了AI系统的拟人化问题，本节中我们来看看这种设计可能带来的具体社会影响。

系统拟人化与信息披露不足的后果

系统中的拟人化设计以及有意义的披露信息缺失，可能导致若干严重后果。

这些后果首先体现在社会对生成式AI系统能力和局限性的认知上。这种认知会产生连锁效应。它影响个体用户决定如何与系统互动以及出于何种目的使用系统。它影响我们开发的控制措施和保障机制。它驱动政策制定、责任归属，在某些情况下甚至影响法律责任界定。

以下是可能产生的两种极端用户行为：

过度依赖：部分用户可能过度依赖这些系统的输出，并将其视为事实来使用。
完全排斥：另一些用户可能走向相反方向，从不相信系统的结果并避免使用它们。

在某些特定场景下，例如陪伴型AI产品，用户可能对这些系统产生依赖和成瘾。

负责任的设计与部署

理解系统的局限性并据此做出明智的使用判断是一回事。例如，在避免他人对某话题评判的情况下查找相关信息，或者当某些用户希望获得积极强化时使用AI。然而，当系统的设计阻碍你做出此类明智决策，并且其输出具有操纵性时，情况就完全不同了。

鉴于这些后果，开发者必须确保他们的设计决策不会导致用户对其产品产生过度依赖或不切实际的期望。负责任的设计和部署要求我们在任何部署之前就考虑其影响和风险。

以下是负责任方法可以遵循的步骤：

缓解问题：采取措施减轻已识别的风险。
持续监控：持续监测新的使用案例和用户反应。

为了践行负责任的方法，我们可以提出一些根本性问题，例如：

谁从这些系统中受益？
谁最终受到伤害或承担负担？
哪些语言被优先考虑？
谁的价值观被嵌入其中？
最终，由谁来决定这一切？

本节课中我们一起学习了生成式AI设计不当可能引发的社会与用户行为后果，并介绍了通过前瞻性评估和根本性提问来引导负责任AI设计与部署的框架。

5：声誉风险管理

在本节课中，我们将要学习企业在开发和部署生成式AI时，除了通用风险外，还需要特别关注的商业考量，尤其是声誉风险。我们将探讨这些风险的具体表现、潜在后果以及企业应如何应对。

概述：企业特有的生成式AI风险

上一节我们介绍了所有生成式AI用户都应了解的几个通用风险，以及生成式AI课程应努力缓解的问题。当企业考虑为其组织和客户开发生成式AI时，还有一些额外的考量可能需要关注。

在生成式AI系统部署之后，许多企业开始探索这些产品带来的可能性和风险。根据跨行业和领域的调查，关于最重要的商业考量已经形成了一些共识。

核心商业考量与法律义务

这些议题中，一部分反映了现有的法律义务，例如：

知识产权
数据保护
产品安全
责任法律

其他议题则是企业为确保对其品牌产生积极影响而认为必要的保障和责任，例如：

准确性
可解释性
安全性
保障措施
声誉影响

保障措施与声誉风险

AI系统需要保障措施。换言之，开发者和部署者需要在部署前确保产品是安全、可靠和值得信赖的，并且建立持续监控的机制。

优先考虑以人为本和保障措施有助于避免尴尬且代价高昂的事件。这些事件可能影响组织的形象、股票、当前及未来的投资者和客户。

无论何时何地发生，其影响不仅限于组织的声誉，还会影响对公司实践和承诺的看法。用户和监管机构都可能对这些技术失去信任。

生成式AI的潜在有害输出

除了不准确、偏见或刻板印象的回应外，生成式AI系统还可能回应超出其功能范围的请求。

这些无根据的推断并非基于用户提供的信息。例如，用户可能上传一个人的照片，并询问系统“谁更危险”或“她从事什么工作”。仅凭图像的视觉成分无法回答这些问题。

然而，模型仍可能回应这些问题。虽然其中一些推断可以在部署前进行测试，并可以设置提示拒绝机制，但值得再次强调的是，这些控制措施并非万无一失。无论是通过越狱尝试，还是由于训练数据中的偏见材料，模型仍可能做出带有定性、判断或无风险评估的回应。

由于训练数据集的规模和数据来源，生成式AI系统可能产生被认为具有侮辱性、威胁性、冒犯性、暴力或亵渎性的文本或图像。这些内容可能排斥某些历史上被边缘化的身份和群体。此类结果也会导致“错位”，即AI模型的行为方式不符合其设计者的意图或普遍的人类规范和价值观。

高风险场景下的不负责任使用

这些系统可能被不负责任地用于高风险情境下的推荐或决策。例如：

雇主可能询问候选人是否“有风险聘用”。
房东可能询问某人是否“值得信赖租住房屋”。
金融机构可能将这些系统嵌入其信用可靠性或资产估值评估中。
政府可能使用它们来处理移民申请。

其他商业风险考量

除了输出内容带来的声誉风险，企业还应考虑其他一些风险。例如：

如果使用生成式AI撰写虚假产品评论，公司可能面临消费者欺诈指控或索赔。
产品的漏洞或缺陷可能导致数据泄露，公司可能因此被处以罚款或处罚。

欺诈性索赔可能以多种不同形式出现。例如，生成式AI可能向消费者提供不准确信息，但未对此进行披露。即使产品是意外产生此信息，并非有意设计如此，欺诈行为可能仍然适用。或者，供应商可能通过暗示使用了生成式AI（而实际并未使用）来误导消费者。又或者，当消费者不清楚他们正在与生成式AI客服互动，而非人类代表时，这可能被视为欺诈。

误导性声明与不公平行为

如果公司对其产品做出夸大声明，监管机构可能认为这是误导性或欺诈性的商业行为。例如：

供应商可能声称其产品能以100%的准确率检测合成电话内容。
供应商可能声称其产品已完全消除偏见。
供应商可能声称其产品远优于市场上的其他产品。
供应商可能声称其产品具备其实际没有的能力。

同样，如果一种行为造成或可能对消费者造成实质性伤害，则可能被视为不公平。从这个意义上说，参考美国联邦贸易委员会向国会提交的一份报告很重要，该报告指出，不具有代表性的数据集、错误分类、未能尝试新现象、缺少上下文和有缺陷的设计都可能导致偏见、歧视或不公平的结果。

不可预见的用户行为

另一个例子是，你的生成式AI工具可能被消费者以何种方式使用是未知的。虽然很难提前预见所有可能的情况，但值得企业注意的是，他们应该预料到意外情况将会发生。

大型语言模型在回答客户查询时比传统聊天机器人提供了更大的灵活性。然而，这种灵活性也可能被用来查询企业未预期的内容。例如，用户可能不是询问公司销售的产品，而是实际上询问公司的商业模式或人力资源实践。

总结

本节课中，我们一起学习了企业在部署生成式AI时面临的声誉风险及其他商业风险。我们了解到，这些风险源于AI系统可能产生的有害、偏见或无根据的输出，以及在高风险场景下的不当应用。此外，企业还需警惕因产品声明不实、存在漏洞或用户不可预见的使用方式而引发的法律和声誉问题。建立强大的保障措施、进行持续监控并保持透明度，对于管理这些风险和维护企业声誉至关重要。

6：法律责任风险 🧑⚖️

在本节课中，我们将探讨生成式AI系统可能引发的法律责任风险。当AI生成的内容对个人造成伤害或负面影响时，责任归属成为一个复杂的问题。我们将通过具体场景，分析责任如何在开发者、部署组织和使用者之间分配，并讨论企业应如何规避相关风险。

责任归属的模糊性

当生成式AI系统产生的回应伤害或对个人产生负面影响时，责任如何分配尚不明确。

责任可能落在设计和构建该系统的开发者身上。

责任也可能落在部署该系统的组织身上。

使用第三方生成式AI系统的企业客户是否应承担主要责任和负责。

或者，责任可能是上述各方的组合。

招聘场景中的产品责任与差别性影响风险

上一节我们讨论了责任归属的普遍难题，本节中我们来看看生成式AI在招聘场景中的应用如何可能引发产品责任和差别性影响的指控。人力资源往往是新技术首先引入和测试的领域之一。

你可能已经熟悉用于候选人搜寻、匹配、简历筛选、绩效管理、视频游戏或代码评估的预测性AI系统。

人力资源是一个通常由人类完成的工作量远超可用资源的领域。

我们现在看到生成式AI产品被引入该领域，用于筛选、排名或评估求职者。

事实上，在领英最近的一项调查中，三分之二的招聘人员表示，他们希望生成式AI能让他们的工作更轻松。

招聘也是一个人类偏见（无论是有意还是无意）容易渗入过程的领域。因此，要求公司改进其流程。

通过在招聘过程中引入客观干预措施，可以减少偏见，无论是通过引入控制方法、培训，有时是通过工具。

只要它们的设计、开发和使用是负责任的。招聘也恰好是一个受监管的领域，其中基于某些标准（如年龄、性别、种族等）的歧视是被禁止的。

彭博社最近的一份报告显示，如果生成式AI用于招聘目的，也会出现类似的偏见模式。

在这个例子中，记者首先创建了八份不同的简历，这些简历反映了相同的教育水平、经验和工作职位。

区别在于分配给不同简历的虚构候选人的姓名。

为了能够比较结果，记者首先使用人口普查数据创建了一组在人口统计上具有明显区别的姓名。

换句话说，这些姓名至少在90%的情况下与特定种族或族裔的美国人相关联。然后，这些姓名被随机分配给资质相等的简历。

该模型被要求对这些简历进行排名1000次。

分析发现，该模型在性别和种族排名上存在差异。

差异取决于候选人被评估的特定职位。

企业需关注的核心要点与尽职调查

上述结果强调了企业需要额外关注的几个要点。

仅仅因为生成式AI解决方案可用，你就应该使用它吗？换句话说，它是否是你特定任务的最佳方法？如果是。

那么现成的模型可能需要进一步的定制化和偏见缓解工作。

如果企业考虑使用供应商的解决方案，则必须进行严格的尽职调查。

以降低歧视和责任风险。此类尽职调查需要包括嵌入系统的设计和假设，以及其产出结果。

在招聘决策这一特定领域，供应商受到商业和产品责任立法的监管。

但雇主需对任何关于歧视、差别性影响或差别性待遇的指控负责。

对合同义务与专业责任的影响

使用生成式AI服务客户的企业，还需要考虑对其自身合同义务的影响。

如果你依赖生成式AI来完成工作，你能否或是否应该声称拥有专业专长？这是否构成疏忽或失职行为？

如果你将客户数据上传到生成式AI中以完成任务或进行分析，客户是否可以声称企业违反了其数据安全义务或保护信息的责任？

如果你的产品提供的回应涉及真实人物且具有误导性，并损害了该人的声誉，该怎么办？

如果你是中间方，但却影响了这些误导性或诽谤性陈述的传播，又该怎么办？

诽谤与虚假指控风险

由于其概率性本质，而非理解其产出的背景，生成式AI系统可能产生诽谤性结果或虚假指控。

这可能导致个人遭受真实的声誉损害。我们已经看到模型捏造关于真实人物的诉讼案件。

或生成关于某人挪用公款的故事。

或为另一个人捏造重罪定罪。

语言模型可以捏造针对真实个人姓名的引述。

或将他们的图片与捏造的故事关联起来。

如果你的企业使用生成式AI模型，你可能需要对模型产生的关于真实个人或其他法律实体的内容负责。

就像关于版权的问题一样，现在有几起案件正在测试现有法规和核心系统，以寻找关于消费者欺诈、诽谤和误导性信息问题的答案。

总结

本节课中，我们一起学习了生成式AI带来的复杂法律责任风险。我们分析了责任在开发者、部署方和使用者之间分配的模糊性，并通过招聘场景深入探讨了产品责任与偏见风险。此外，我们还审视了AI可能对企业合同义务、专业责任以及引发的诽谤问题带来的挑战。对于企业而言，在采用生成式AI时，进行严格的评估、定制化、偏见缓解和供应商尽职调查至关重要。

7：业务连续性保障 🔄

在本节课中，我们将探讨企业在采用生成式AI时，为确保业务连续性所需考虑的关键问题。我们将重点关注对上游提供商的依赖、模型性能风险以及可能出现的反馈循环问题。

对上游提供商的依赖

上一节我们讨论了生成式AI的潜在风险，本节中我们来看看企业在技术整合中面临的实际挑战。一个严肃的商业考量是对上游提供商的依赖。

除非你从零开始构建一个生成式AI系统，否则你很可能会连接到现有的提供商系统，或者使用公开可用的模型来构建自己的系统。

为了从服务提供商那里获得充分的保证，你需要提出以下问题：

关于训练数据集：模型的训练数据是如何获取和处理的？
关于模型可用性：你所依赖的基础模型未来是否会持续可用？
关于模型更新：模型的未来更新可能会对你的产品产生哪些下游影响？

如果你的产品功能依赖于另一个模型，你需要获得何种保证？

性能保证：模型性能的稳定性如何？
对抗性攻击防护：模型如何抵御恶意攻击？

你如何提前预知变更的程度及其对你产品的影响？甚至在事后如何评估？

在本课程的前面部分，我曾提到尽职调查和治理对于考虑开发或部署生成式AI系统的组织至关重要。企业必须理解其对上游提供商的依赖程度，以及他们正在承担何种风险。

如果不清楚AI系统的训练数据来源，我们就无法对风险做出明智的决策。这些数据是否能代表我们的消费者基础、问题和偏好？上游供应商如何分析、缓解和管理风险？

整合现有系统的考量

当将现有系统整合到你的业务流程中时，理解其性能、风险和局限性同样重要。

你使用的聊天模型是否有能力响应你设想的所有产品范围？该用例是否容易进入故障模式？例如，你可能使用生成式AI模型来帮助根据图像生成产品名称或描述。

考虑到图像数据集的代表性问题，以及系统在理解上下文方面的局限性，你能依赖该系统来产生准确的结果吗？

反馈循环与模型退化

关于模型持续性能的另一个问题，是反馈循环的可能性和模型可靠性的逐渐退化。

生成式AI模型是通过从互联网上抓取和整理数据构建的。然而，这些系统生成的合成输出现在也正流入互联网，并出现在网络搜索结果中。

当未来互联网内容再次被抓取时，这些新的合成内容可能会创建一个反馈循环。每天都有许多完全由AI生成的电子书、媒体文章被添加到互联网和数字语料库中。

这种循环最终可能导致AI模型用自己的数据进行训练，而这些数据包含了幻觉和进一步的偏见。这种循环也可能降低互联网搜索结果本身的质量。类似的问题现在也出现在科学期刊中。

这个问题影响了学术写作的质量。它也可能影响毫无戒心的读者如何理解这些文章中包含的问题。事实上，一些研究人员警告，从其他模型产生的数据中学习可能会导致模型崩溃。

模型崩溃是一个退化过程，随着时间的推移，模型会忘记真实的底层数据分布。即使对于长期学习条件近乎理想的情况，这个过程也是不可避免的。

本节课中，我们一起学习了企业在部署生成式AI时保障业务连续性的核心考量。我们认识到，必须审慎评估对上游提供商的依赖，深入理解整合系统的性能与局限，并警惕由合成数据污染引发的反馈循环和模型退化风险。这些是确保AI系统可靠、可持续地服务于商业目标的基础。

8：监管预警机制 🚨

在本节课中，我们将探讨监管机构为考虑部署生成式AI系统的企业提供的指导与预警。我们将了解监管机构关注的核心问题，以及企业应如何从治理和消费者权益的角度进行自我审视，以避免风险并建立信任。

上一节我们讨论了生成式AI的全球监管框架。本节中，我们来看看监管机构向企业发出的具体预警和指导性问题。

监管机构的关注点

监管机构已就企业应自问的关键问题提供了指导或发出警告。这些问题旨在引导企业在开发和部署AI产品前进行审慎评估。

以下是美国联邦贸易委员会提出的部分关键问题示例：

产品合理性：你是否应该制造或销售这款特定的AI产品？
风险缓解：你是否有效地缓解了相关风险？
检测依赖：你是否过度依赖产品发布后的检测机制？
信息真实性：你是否在人们所见、所闻或所读的内容上误导了他们？
能力夸大：你是否就AI产品的能力欺骗或误导了人们？
条款变更：你是否在悄悄修改你的服务条款和条件？

对企业的明确警告

除了提问，监管机构还对某些企业行为发出了明确警告。他们特别警惕企业试图通过以下方式转移责任：

声称其产品是一个“黑箱”，先进到连自己的开发者都无法理解其工作原理。
声称没有合适的手段来测试自己的产品。

从治理与消费者权益出发

消费者的认知影响产品的采用率以及他们对企业信任度的评价。因此，从治理和消费者权益的视角出发，负责任的企业在推出生成式AI产品前，可以考虑以下几个问题：

以下是企业在产品 rollout 前应思考的几个治理与消费者权益问题：

透明度：第一步是让消费者知道正在使用生成式AI系统，并明确告知它能提供和不能提供何种支持。
反馈与申诉机制：如果消费者认为或因生成式AI的输出而实际受到损害，企业应提供何种机制让消费者反馈给组织，甚至升级问题以求解决？
保障措施：此外，可能需要向消费者提供保证，即企业已采取预防措施，以确保公平和准确的呈现。
信任维护：信任需要被维护。当消费者因企业的实践或所开发/部署的生成式AI工具受到负面影响时，他们可能会失去对该组织乃至整个新兴技术的信任。

负责任实践的重要性

负责任的应用程序实践和主动的安全保障措施，对于避免上述不良结果起着至关重要的作用。

本节课中，我们一起学习了监管机构对生成式AI企业的预警机制。核心要点包括：监管机构关注产品的合理性、风险控制、透明度以及企业责任；企业应避免使用“黑箱”等借口推卸责任；从消费者权益出发，企业需确保透明度、建立反馈渠道并提供保障，以维护至关重要的信任。采取负责任的实践是避免风险、实现可持续发展的关键。

9：负责任生成式AI的重要意义 🎯

在本节课中，我们将探讨负责任生成式AI的重要性，了解其核心挑战、潜在风险以及构建可信赖AI系统所需的治理框架。我们将从一位行业专家的视角出发，深入理解在商业和社会中负责任地部署AI的关键考量。

概述

生成式AI，特别是大型语言模型，正在引发一场深刻的技术变革。然而，与传统的确定性软件不同，AI模型具有非确定性和“黑箱”特性，这带来了独特的信任与透明度挑战。本节课将系统性地分析这些挑战，并阐述建立AI可观测性与治理框架对于企业和社会可持续发展的至关重要性。

从个人经历到行业洞察

上一节我们概述了课程主题，本节中我们来看看分享者创立Fiddler公司的背景与动机。这段经历揭示了大型科技公司内部面临的AI可解释性挑战，并预示了更广泛的企业将遇到的类似问题。

我曾在Facebook担任动态消息团队的工程负责人，负责为机器学习工程师构建基础设施，以监控模型、实验并解答来自公司各部门的疑问。例如，“为什么这条新动态出现在我信息流的顶部？”或“为什么我会错过朋友的生日帖子？”由于动态消息排名系统的复杂性，回答这些问题非常困难。

这就像面对一个黑箱系统，需要揭开其神秘面纱，让公司其他成员能够理解和解释它。我在Facebook参与的一个名为“我为什么看到这个”的项目，旨在向人们揭示动态消息排名算法的内部工作原理，提供人类可读的洞察。这便是我进入AI可解释性领域的开端。

在科技行业工作的15年里，我从事过搜索质量、数据分析和最终机器学习等各种基础设施项目。我发现，与传统软件相比，机器学习模型非常不同。它们是非确定性的，对人类而言也是黑箱，但当它们工作时却能产生神奇的效果。因此，核心问题是：我们如何有信心地采用ML模型和AI模型？

Facebook的经历促使我创立了Fiddler。像Facebook和谷歌这样的公司拥有大量工程师来构建内部工具，但对于企业（如银行、保险公司、制造公司等）而言，它们在尝试采用AI时也将面临同样的信任和透明度问题。我们希望建立一家公司来服务它们，提供工具，让它们无需自己从头构建。这就是Fiddler的起点。

企业AI可观测性平台

上一节我们了解了行业挑战的起源，本节中我们来看看Fiddler如何构建解决方案来应对这些挑战。

如今，我们构建了一个称为企业AI可观测性的产品。Fiddler的功能是检测所有不同类型的AI应用，从大型语言模型应用到简单的机器学习模型，以提供关于其性能、模型退化、准确性、偏见、幻觉、安全问题等各类风险的洞察。我们通过一个统一的仪表板来提供所有这些信息。

我认为生成式AI在一个非常大的维度上很有趣。许多生成式AI应用并非从头构建。很多公司所做的是，采用由微软、OpenAI、谷歌等大公司创建的预训练模型，然后用自己的定制数据对其进行微调或提示工程，以构建LLM应用。因为从头构建LLM模型成本高昂，大多数公司都在这样做。

作为这个过程的一部分，存在几个问题：

一是我们不知道这些LLM模型是如何训练的，使用了何种数据。大多数大型语言模型是在整个互联网语料库上训练的。
但您是在这些预训练模型之上构建自己的应用。因此，当投入生产时，模型表现如何、是否会幻觉、是否会产生有害内容、是否会泄露任何私人信息，这些问题都是高管们最关心的。

生成式AI的新风险与挑战

上一节我们介绍了企业采用生成式AI的常见模式及其带来的问题，本节中我们深入探讨生成式AI特有的新型风险。

这些大型语言模型或生成式AI模型的另一个特点是，它们某种程度上可以即兴编造内容。因为它们本质上是预测您输入的下一个词、下一个序列、下一个段落。它们不像是在进行推理，它们是在海量历史数据上训练的，基本上是在尝试预测下一个词序列。

因此，它们总是可以写出看似连贯、仿佛来自知识源的内容。这是一个大问题。当人类查看输出时，感觉它可能是合理的，但它很可能是一个不正确的陈述或答案。我们已经看到许多这样的案例，很多人写过关于如何“越狱”ChatGPT或让它说出不同内容的博客。

同样的问题也存在于毒性内容中。众所周知，互联网上存在大量仇恨言论。当您爬取互联网并将其馈送给这些模型时，它们可能会编造种族主义笑话，产生有害内容。这是另一个大问题。

因此，核心问题是：我们如何驯服这些LLMs，使其对企业应用有用？这些风险是新的，与预测性ML世界相比。因为预测性ML模型主要处理模型退化、偏见和缺乏透明度等问题，生成式模型也有这些问题，但生成式AI新增了这组新风险：幻觉风险、数据隐私风险、毒性风险。

人机信任的根本问题

上一节我们分析了生成式AI的技术风险，本节中我们来看看这些风险如何影响最终用户，并引出人机信任这一核心议题。

最终，我们是为人类构建AI产品。例如，我们可能构建一个大型语言模型应用来支持客户联络中心团队，以便客户支持团队成员能提供更好的服务；我们可能为法律团队构建一个总结法律文档的摘要应用；或者一家银行可能投资一个帮助台应用，让交易分析师能快速获得答案。

无论何种用例，这些应用都是由人类使用的，旨在快速获得问题答案或数据洞察。因此，问题是：人类如何信任这台机器？这种人机信任是一个根本问题。

当我们与机器打交道时，想象一下驾驶没有驾驶舱的飞机，或者操作没有控制面板的微波炉。我们已经习惯了这些需要持续反馈的界面，作为人类，我们在操作机器时会形成一种直觉。而AI作为一个黑箱，我们没有那种交互式的方式来理解它。这正是所需要的。

当涉及到像Fiddler这样的工具时，这就是我们提供的。这些洞察对各种利益相关者都非常有用：

模型开发人员在调试模型时发现它很有用。
消费模型输出的其他利益相关者，如主题专家、业务团队，也发现它非常有用。
试图在公司内建立治理流程的合规利益相关者，他们也想了解模型在幕后如何工作。

这归根结底是那个人机信任问题，更多地了解AI内部发生了什么。这基本上是一切问题的根源。

伦理考量与社会影响

上一节我们讨论了建立信任的工具需求，本节中我们进一步探讨不负责任的AI可能带来的深远伦理与社会影响。

我认为，在构建AI产品时，必须考虑伦理因素。否则，我们可能会为我们的孩子和他们的孩子创造一个反乌托邦的社会，不公平的黑箱模型将做出决策，这可能会使一部分社会受益，但许多其他人将被边缘化。希望这不会成为现实。

让我举一些例子。正如您提到的，这些大型语言模型是在庞大的互联网语料库上训练的。那么，是谁创作了互联网语料库？主要是那些有电力和互联网接入的privileged国家和privileged阶层。因此，您会发现互联网上大部分是英语内容，主要由西方国家创作。

因此，您会看到这样一种情况：这些用庞大互联网语料库预训练的大型语言模型，已经内置了这些固有的偏见。而现在，人们撰写的新文章、新内容实际上正在使用LLM，所以LLM正在喂养LLM。我们已经陷入了一个恶性循环。最近有人引用一个统计数据给我，说如今互联网上25%的内容可能是生成式AI的输出。

那么会发生什么？您会看到大量不同的声音、语言风格、民族风格等被边缘化。您会进入这种单一化的状态，这对我们人类来说并不好。我们人类非常多样化，这正是人类社会的精彩之处。每个人都有不同的文化、不同的说话方式、不同的处事方式。

另一个危险的方面是，当您真正将这些模型用于关键用例时，例如招聘、承保（我们讨论过）、或其他影响安全的应用，比如自动驾驶汽车，甚至国防和军事用例，这些将影响人类生命或某种人权，那么重大问题就会出现。

立法、治理与未来展望

上一节我们审视了不负责任AI的潜在危害，本节中我们来看看全球社会如何通过立法和治理框架来应对，并对未来提出建议。

我认为这就是为什么我们看到各国和各大陆纷纷出台关于AI的立法和指南。有欧洲的《人工智能法案》，有拜登关于AI安全的行政命令，都谈及这些内容。它们强调：我们需要确保这些模型中没有无意的偏见，需要对模型输出进行持续监控，需要对模型决策进行可解释性说明，或者需要保护隐私。

这些我们称之为整个负责任AI流程的基本原则，正在被纳入这些立法指南中。我认为这些举措非常重要，因为我们需要每个组织都遵循这些治理框架。为了我们未来与AI共建更美好的社会，必须建立一些制衡机制。

我在科技行业工作了20年，这可能是我们眼前正在发生的最大变革。我经历过互联网革命、移动革命、以及整个云计算和大数据革命，公司必须转变其文化、软件产品以适应这些新时代技术。而AI可能是我们正在目睹的最大革命，说实话，它可能比互联网革命还要大。

因此，许多参加本课程的人可能已经以某种方式参与其中，他们的公司可能正在构建新时代的AI产品，利用这些大型语言模型、生成式AI应用甚至传统的AI应用。

总结与关键建议

在本节课的最后，我们一起来总结核心观点，并为正在或计划构建AI应用的组织和个人提供关键的行动建议。

我想确保人们考虑到这一点：AI是一个新的软件技术栈。它不像是一种增强，也不像云转型那样只是将数据中心运行的软件应用迁移到云端，或者构建一个移动版本。它实际上是一种新的软件开发方式。这意味着您的业务正在进行重构。因此，必须非常、非常认真地对待此事。

从根本上说，AI在两个方面与传统软件不同：一是非确定性，二是黑箱性。

因此，在构建AI技术栈时，请确保您有适当的流程，有制衡机制，确保在部署模型之前对其进行彻底测试，并监控模型的各种表现。因为您不希望构建一个AI应用，使您的组织声誉受损，或以您意想不到的方式伤害客户，失去客户信任，或将您的业务置于风险之中。

我认为，在推出AI应用时，必须非常认真地对待此事。生成式AI非常神奇，ChatGPT推出时我每天都在使用，我认为它非常有用。但您也必须遵循正确的流程，并建立适当的框架，无论您称之为AI治理框架还是负责任AI框架。拥有合适的人员、流程和工具组合，对于成功至关重要。这是我想作为结束语留下的一点思考。

本节课总结

在本节课中，我们一起学习了负责任生成式AI的多方面重要意义。我们从AI可观测性的实际需求出发，探讨了生成式AI特有的幻觉、偏见、毒性等新风险，并深入分析了其背后的人机信任根本问题。我们看到，不负责任的AI可能加剧社会不平等，因此全球范围内的立法与治理框架至关重要。最后，我们认识到AI是一场深刻的变革，而非简单的工具升级，成功采纳它需要严肃的态度、完善的流程以及贯穿始终的负责任AI实践。构建可信、可靠、公平的AI系统，是我们共同的责任与目标。

10：生成式AI的社会影响力 🌍

在本节课中，我们将探讨生成式人工智能系统对社会和环境产生的广泛影响，并思考如何引导其向积极方向发展。

多年来，研究人员、企业、公民社会倡导者和政策制定者一直在讨论预测性AI系统带来的各种社会与环境影响。

这些是社会技术系统。如果其设计、采购和治理方式不够负责任，AI系统可能会放大刻板印象和极端世界观，导致歧视性结果，限制或剥夺获取资源与机会的途径，甚至侵犯权利与自由。不透明的系统、无法追溯或无法解释的结果，都可能引发激烈的争议。

上一节我们讨论了预测性AI的普遍挑战，本节中我们来看看生成式AI。生成式AI系统同样可能体现这些已知的挑战。

此外，生成式AI还引入了新的风险，这些风险需要被研究、缓解和管理。以下是其主要风险类别：

虚假信息与侵权：包括错误信息、虚假信息以及版权侵犯。
数字鸿沟与缺陷：可能加剧数字鸿沟，并存在技术缺陷。
降低恶意行为门槛：生成式AI易于使用且能以自然语言交互的特性，在带来机遇的同时，也降低了恶意行为者发动网络攻击、利用缺陷或进行欺诈计划的成本和门槛。

我们无需接受现状。我们能够，也应该为有益且可信的创新贡献力量。如果我们想构建一个积极的未来，就必须思考生成式AI的社会影响。

我们期望的未来是：生成式AI的社会经济效益得到更公平的分配；更多文化、语言和身份得到体现；技术对环境的影响得到缓解。

一项新兴技术及其相关产品存在需要解决的问题，这是自然的。这些技术存在某些局限性，也是自然的。

我们现在需要做的是承认这些问题，对其能力和局限性保持透明，并建立防护措施以预防可预见的危害。

为了培育负责任且可信的生成式AI，从而产生积极的社会影响，我们需要提高公众意识，并就我们期望的未来图景进行包容性的辩论。

本节课中，我们一起学习了生成式AI可能带来的社会风险与挑战，并明确了通过透明、防护和公众参与来引导技术向善、创造积极未来的必要性。

11：信息完整性保障 🛡️

在本节课中，我们将要学习生成式AI如何影响信息的完整性，探讨错误信息与虚假信息的区别，并分析其在选举、个人安全、公共安全及网络安全等领域带来的具体挑战。

概述

信息完整性是数字时代的核心挑战。从社交媒体到数字大众媒体，再到如今的生成式AI，错误信息和虚假信息的影响被不断放大，对全球信息生态构成了严峻考验。

错误信息与虚假信息

上一节我们介绍了信息完整性面临的整体挑战，本节中我们来看看两个核心概念：错误信息与虚假信息。

错误信息 指无意中创建或分享的虚假或不准确信息。
虚假信息 指为欺骗他人而故意创建的虚假信息，通常是为了达成特定目的。

生成式AI尤其容易制造错误信息，因为这类系统本质上基于统计相关性和模式进行输出。

生成式AI与选举信息

生成式AI的随机性效应，可能导致其推荐虚假且影响重大的信息。选举信息便是其中一个关键领域。

一项近期研究测试了五大主流生成式AI模型对选民可能提出的问题的回答。研究评估了回答的偏见性、准确性、完整性和危害性，并发现：

所有模型在选举信息方面的表现都很差。
超过一半的AI模型回答被多数专家测试者评为不准确。
超过三分之一的AI模型回答被评为有害或不完整。

对个人安全的影响

当用户了解生成式AI系统的局限性时，他们可能不会向这些系统询问重要问题。然而，有时用户可能完全意识不到他们正在使用的应用是由生成式AI模型驱动的。

例如，人们依赖手机应用来区分野外可食用蘑菇与有毒蘑菇。已有报告显示，有用户因完全依赖这些应用而住院。

生成式AI系统还降低了恶意行为者从事欺诈和欺骗活动的门槛。

除了通过这类系统生成的静态图像，生成式AI还可用于克隆一个人的声音或视频，进而用于AI驱动的诈骗或欺骗。

这类骗局可用于骗取个人或企业的钱财、进行勒索，甚至说服他们接受某种政治、经济或社会信仰。不幸的是，这些骗局不仅造成财务损失，还可能引发严重的情感创伤。

我们已经看到多起事件，个人接到电话，来电者的声音和电话号码均被克隆。毫无戒心的目标看到的是亲人的号码，听到的是他们痛苦的声音，在许多情况下被诱导陷入欺骗和诈骗陷阱。

同样，一个人的肖像也可能被制作成虚假的色情照片或视频，用于勒索或敲诈。

对公共安全的影响

除了对个人的影响，生成式AI与公共安全的交集也是AI治理者和政策制定者关注的重点。核心问题是：生成式AI系统是否会为恶意行为者提供可资利用的信息或工具？

我们已经讨论了错误信息的放大效应及其被用于制造不信任或诈骗个人的用途。当前主流生成式AI产品的使用政策中已识别的其他风险包括恐怖主义、虐待或剥削儿童、人口贩卖等非法活动。

一个更间接的公共安全担忧是，通过这类系统获取信息是否会使得敌对行为者更容易开发和部署生化武器、制造有害药物，或发现关键基础设施的漏洞。

特别是最后这组担忧，已被一些商业参与者用作不披露基础模型信息、甚至要求限制开源基础模型访问的理由。

研究人员在争论，这些模型是否提供了超出公开可用信息之外的额外信息。换言之，恶意行为者通过生成式AI系统获得的信息，是否会多于他们通过互联网能够访问和整合的信息？目前这些问题尚无明确答案，因为答案也取决于具体行为背景，以及是否存在物理安全、监督机制、出口管制等现有控制或瓶颈点来阻止恶意行为。

对网络安全的影响

“生成式AI系统是否会为恶意行为者提供可资利用的信息或工具”这一问题，同样适用于网络安全背景。

AI工具长期以来被用于检测代码漏洞，并显著增强了网络攻击检测和响应的能力。然而，生成式AI系统的编码功能也可能被武器化，用于开发攻击代码，尤其是针对过时的基础设施和中小型企业。

总结

本节课中，我们一起学习了生成式AI对信息完整性的多方面冲击。我们明确了错误信息与虚假信息的区别，探讨了AI在选举信息、个人安全（如声音克隆诈骗）、公共安全（如武器信息获取）及网络安全（如攻击代码生成）等领域带来的具体风险与挑战。理解这些风险是迈向负责任地开发和使用生成式AI的第一步。

12：信任衰减防范 🛡️

在本节课中，我们将探讨生成式AI系统若不负责任地开发或部署，可能导致的信任衰减问题，并分析其对社会和商业的深远影响。

核心问题：信任的重要性

从根本层面看，最重要的问题是信任。如果生成式AI系统在开发或部署时不负责任，例如在没有安全护栏的情况下，或仅出于商业优先和激励目的而部署，就可能导致信任的侵蚀。这会产生长期影响。

信任衰减的成因与后果

上一节我们指出了信任问题的核心，本节中我们来看看导致信任衰减的具体原因及其后果。

当这些系统在没有清晰描述和解释其能力与局限性的情况下被部署时，用户可能会因其不准确性而感到沮丧。其中一些不准确性，或不够理想的安全保障措施，主要会导致影响个人权利、自由和安全的事件。对存在缺陷的生成式AI系统的恶意利用，可能造成财务、人身、情感和声誉上的损害。

以下是信任衰减可能引发的具体问题：

用户挫折：因系统不准确而产生。
权利与安全事件：由不完善的安全措施导致。
多重损害：恶意利用可能造成财务、人身、情感和声誉损失。

短期收益与长期风险

商业和政府中的高级职位人员肩负重任。他们可以在短期内吸引用户并推动商业收益。然而，从长远来看，上述所有问题综合起来，会显著削弱公众的信心和信任。

信任需要被证明是合理的。当系统增加价值并按预期和设计运行时，才能赢得信任。信任驱动采用，更多的采用驱动更多的投资。商业、政府和学术界更多的投资，则会带来更多的创新和对这些技术的更广泛访问。

短视的做法会破坏这些系统的好处和可能性。在社会层面，信任的侵蚀及其影响是一个危险的组合。

社会层面的深远影响

想象一个场景：人们不再信任他们所看到的、所听到的、所读到的东西。问问自己，你是否已经开始质疑日常所遇信息的真实性。这对社会结构意味着什么。

总结

本节课中我们一起学习了生成式AI领域信任的重要性。不负责任的开发与部署会通过多种途径侵蚀用户和公众的信任，这种信任衰减不仅损害商业的长期发展，更会对社会的信息真实性与结构稳定构成深层威胁。因此，建立并维护信任是负责任地发展生成式AI技术的基石。

13：环境影响评估 🌍

在本节课中，我们将探讨生成式人工智能系统对环境的影响，包括其巨大的能源消耗和水资源使用，以及当前在量化与披露这些影响方面所面临的挑战。

概述

生成式AI系统，如同任何依赖数据和计算的技术一样，对环境具有显著影响。新研究指出，预测性AI系统与生成式AI系统在能耗方面存在显著差异。

生成式AI的能源消耗 🔋

上一节我们介绍了生成式AI的广泛影响，本节中我们来看看其具体的环境影响。研究发现，生成式AI在能源消耗和碳排放方面更为密集。

该研究提供了有用的相对数据和比较的起点，但指出具体数字会因不同的模型使用场景而变化。然而，与生成式AI系统的许多方面一样，我们并不确切知道这些模型具体消耗多少能源。

以下是导致此问题的几个因素：

缺乏标准化方法：研究人员指出，目前缺乏量化这些模型能耗的标准化方法。
无强制披露要求：目前没有强制要求披露具体的环境影响，尽管已出现一些相关的政策与治理讨论。
信息被屏蔽：即使某些层面存在相关信息，这些信息也被屏蔽，不予披露。

全球数据中心的能源消耗持续上升，这结合了生成式AI和加密货币的需求。研究人员估计这一需求将进一步增长，全球数据中心的能源消耗量可能相当于爱尔兰、阿根廷或瑞典等国家的总量。

训练与推理的能耗 🏋️‍♂️

生成式AI系统在其整个生命周期中消耗大量能源。拥有数十亿参数的大型语言或图像模型，有时需要数月时间进行训练。在部署后，每次系统运行推理任务，能耗会进一步增加。

换句话说，当终端用户提示系统完成文本、图像、视频或代码任务时，模型会进行一次前向运行（即推理）并产生结果。商业模型每天运行数十亿次推理。事实上，英伟达和亚马逊网络服务估计，推理消耗的能源显著更多，在深度学习中可占总运营成本的80%至90%。

数据中心的水资源消耗 💧

承载用于训练或运行生成式AI系统的服务器的数据中心，也需要大量淡水来冷却服务器。

一篇2021年分析数据中心环境影响的文章，估算了数据中心运营的水足迹。与各地区经历的水资源短缺相比，数据中心严重依赖供水本就紧张的流域，给当地带来了额外的压力。

值得注意的是，这一情况出现在生成式AI技术兴起之前。对新数据中心建设的需求仍在持续增长。

数据中心的冷却系统主要使用新鲜的饮用水，以避免任何不良成分在系统中循环。换句话说，数据中心与当地居民依赖的是同一水源，用于日常生活、农业、工业或市政需求。

信息不透明与责任问题 ❓

由于水资源消耗数据同样未被披露，研究人员试图估算生成式AI系统的水消耗足迹。与能耗数据的保密情况类似，水资源消耗信息也难以获取。

公司并未有意义地披露这些数据。即使州或地方政府要求提供信息，公司也可以请求将这些信息归类为专有信息，从而阻止其披露。

换句话说，不仅居住在当地的居民可能不知道这些公司使用了多少饮用水和能源，消费者也无从知晓。如果你是一家具有环保意识的企业，你可能无法比较不同模型的替代方案。

随着对新数据中心的需求持续上升，数据中心消耗的淡水大量取自当地资源。

面对如此大的环境影响以及相关信息的缺乏，我们再次提出负责任AI的根本问题：谁从这些系统中受益？谁的生活和资源受到了影响？最终，由谁来决定这一切？

总结

本节课中，我们一起学习了生成式AI系统对环境造成的重大影响，主要包括巨大的能源消耗和水资源使用。我们了解到，由于缺乏标准化的测量方法、强制披露要求以及信息的保密性，准确量化这些影响面临挑战。这引发了对技术受益者、受影响者以及决策权的深刻思考，这些都是构建负责任AI必须面对的核心问题。

14：治理必要性探究 🔍

在本节课中，我们将探讨企业采用生成式AI时，为何必须建立有效的治理框架。我们将分析企业准备度的关键因素，并深入理解治理的全面含义及其在确保AI系统负责任、可信赖方面的核心作用。

上一节我们讨论了生成式AI的潜在效益，本节中我们来看看企业如何为这些效益做好准备。

生成式AI预计将为企业带来多种益处。在一项针对六个行业、十六个国家超过2000名总监及以上级别受访者的德勤咨询调查中，这些益处范围广泛，从提升效率和生产力到降低总体成本以及加强与客户的关系。企业能否实现其预期，将取决于其为变革所做的准备程度。

一个组织的准备度可以通过不同因素来评估，例如其数据战略、技术基础设施、业务战略、治理和人力资本。同一项针对高级管理层的调查显示，组织在其技术栈方面感觉准备更充分。然而，任何重大发展的主要推动力或障碍都将是人的因素，无论是开发生成式AI所需的人才，还是执行战略、管理风险或治理这些系统所必需的人才。

认识到人力资本的重要性后，接下来我们探讨企业在部署生成式AI前需要经历的准备过程。

对于任何考虑开发或部署生成式AI的企业而言，投资人力资本是必要的。每个组织在部署其生成式AI用例前，都将经历探索、分析和准备的旅程。以下是部分准备工作：

理解监管与合规要求及其环境。
建立相应的内部治理框架和角色。
对参与该过程的人员进行培训。

随着企业采纳并建立最佳实践，组织将迈向更高水平的负责任AI成熟度，并使这些实践成为标准操作程序。一个目标成熟度水平，即组织为实现最优水平而设定的目标，取决于其使命、实践和目标。每个企业都从探索级别开始。重要的是要密切关注战略和最终目标，并定期评估现状与目标之间的差距。

在了解了成熟度路径后，我们来具体定义什么是“治理”。

在一个负责任的AI成熟组织中，负责任的使用、治理和执行实践被常规性地采用。它们成为业务运营的一部分，并随着新数据或趋势的出现而改进。但对某些人而言，治理最初可能意味着法律合规。然而，治理实际上包含了一个组织自身的规则制定、实施和执行机制，以指导其职能。

治理是机制、角色与职责、规则、流程、程序、政策指南和限制（也称为“护栏”）的集合。理想的公司治理能创造关于价值观、规则、目标和控制的透明度。它指导组织的工作，并有助于与员工、客户、社区、监管机构和投资者建立信任。

具体到AI领域，治理意味着什么？它如何帮助企业？

具体到AI和生成式AI，治理意味着确保在生成式AI的设计、开发和使用中，潜在风险最小化，效益最大化。这意味着组织能够控制这些系统如何影响组织内部广泛的流程和决策，并且组织的实践是可质疑的，并能导向问责制。

有了负责任的AI治理，组织就可以投资于人才、数据和基础设施，同时在生命周期的各个阶段（从设计、训练、开发、测试、安全和部署，到生成式AI系统的监控）明确期望和责任。

既然治理如此重要，那么企业在决策之初就需要考虑哪些具体方面？

当你决定开发或采用一个生成式AI系统时，你就承诺了要持续监控系统性能并改进其功能。AI或生成式AI不是静态的系统。因此，从一开始，组织就需要考虑治理和问责机制。这包括：

改变现有的角色和职责。
内部监控与控制方法。
受生成式AI使用影响的任务和决策的文档记录与沟通流程。

从一开始就将负责任和可信赖的方法嵌入到你的系统中至关重要，并与内外部利益相关者沟通，了解你提议的系统对这些群体可能产生的正面和负面影响。

最后，我们必须理解为什么生成式AI尤其需要强有力的治理。

与预测性AI系统类似，生成式AI由于以下几个原因而存在固有风险：

训练数据风险：训练数据可能包含有毒、有害、非法内容。
模型复杂性：模型复杂且不透明。
系统安全：系统可能受到恶意行为者的攻击和操纵。
用户交互：用户可能以开发者未预见或未预测的方式与系统交互，从而引发全新的问题。
输出质量：响应可能不准确或存在偏见。
影响规模：如果发生意外情况，对个人和组织的影响可能非常重大。

本节课中我们一起学习了企业采用生成式AI时治理的必要性。我们明确了企业准备度的评估因素，定义了治理的广泛内涵及其在AI领域的特定目标，并强调了从项目伊始就建立治理框架、持续监控以及认识生成式AI固有风险的重要性。有效的治理是确保生成式AI技术被负责任地使用、最大化效益并最小化风险的关键基石。

1：治理方法连续体

在本节中，我们将探讨生成式AI的治理方法。治理并非“一刀切”的解决方案。商业决策者需要理解哪些方法适用于其组织及其服务对象。我们可以将这些方法视为一个连续体，从“硬性”机制到“软性”机制。换句话说，就是从具有法律约束力的要求到自愿行动。许多方法需要以灵活的方式共存并相互补充。

概述：治理的必要性与多样性

生成式AI系统很少在单一司法管辖区或文化中运行。这些系统的性质及其新兴用例要求我们理解治理连续体中的所有可能性。我们将首先从具有法律约束力的方法开始。

具有法律约束力的方法

顾名思义，具有法律约束力的方法要么为组织的当前行为设定义务，要么要求其为系统可能产生的影响承担责任。在法院判决的情况下，它们为未来的法律解释和实践设定了先例。违反或无视这些规则可能意味着组织将面临经济或运营制裁。

现有法规的适用性

认为AI或生成式AI系统没有法规约束是一种误解。许多司法管辖区已经制定了法律和法规，这些将继续适用于这些系统的产出。例如：

反歧视或平等法律
数据保护或隐私法律
儿童安全、公平商业实践或消费者保护法律

核心概念：新技术 ≠ 现有法律不适用。如果歧视或欺骗是非法的，那么使用生成式AI进行歧视或欺骗同样是非法的。这些系统的设计和部署需要反映法律要求。

事实上，一个又一个机构明确表示，他们“随时准备追究那些未能解决可能产生的不公平和歧视性结果的实体的责任”，并且“正在采取全政府的方法来执行涉及自动化系统（包括AI）时的民权及相关法律”。

新兴法规

此外，新的法规正在生效。例如：

欧盟《人工智能法案》：要求对生成式AI系统进行事件监控。
中国AI法规：要求生成式AI系统通过安全自评估，并对合成生成的内容进行标注。
美国：在州和联邦政府层面，对合成内容进行水印或标注的要求也日益受到关注。

在国际层面，欧洲委员会的《人工智能条约》草案将成为首个关于AI的国际条约。随着时间的推移，国内和国际法规都将适应AI系统的具体用例和影响。就像私营组织一样，随着经验的积累和学习的深入，监管方法也会随着新技术的成熟而成熟。

为何需要监管？

人们可能会问，为何需要对新兴技术进行监管？这是因为新技术创造了新的方法和用例，可能影响市场和社会。

促进创新：监管通过制定游戏规则来促进创新。约束促使设计和工程过程更加审慎和周全。可以类比汽车安全带或药品副作用分析。
促进竞争：监管通过防止大公司的垄断性商业行为来促进竞争。这为小型企业创造了吸引新投资者和发明家的机会。
提供清晰度：通过划定界限，监管明确了可接受的范围，使企业和消费者能够做出明智的决策。

具体法律约束方法示例

除了要求生成式AI开发者和部署者评估、减轻和监控风险外，法规还可以强制要求公开披露有关生成式AI系统的某些信息。

以下是两种具体方法：

1. 强制披露

强制披露要求组织公开其AI系统的相关信息。披露的信息范围可能包括：

简单地披露正在使用生成式AI系统。
发布有关系统的技术文档。
报告相关事件。

示例：

美国政府：强制要求联邦政府在注册表中披露AI系统的使用情况，以及这些系统的某些细节的透明度。
欧盟：要求高风险AI系统的提供者进行类似的信息披露。

此类披露为最终用户提供了信息，使他们能够评估系统的产出，或在必要时提出异议。

2. 独立审计

强制性的独立审计已经存在很长时间。例如：

上市公司的财务审计。
个人的税务审计。
处理个人数据的公司的网络安全审计。

鉴于生成式AI系统的复杂性、不透明性和影响力，独立第三方审计是可能的治理机制之一。它由一个受信任的方代表监管机构或公众对系统进行检查。

核心概念：

审计：是对组织记录进行正式的、方法论的检查和验证。
独立性：是执行审计的个人与被审计实体之间不存在任何利益冲突（财务或其他）的原则，这使他们能够保持评估和结论的客观性。

作为一个治理领域，算法审计可能包括以下组合：

模型设计
模型产出
数据质量
组织内部文档
预期用途与实际性能之间的保真度

总结

在本节中，我们一起学习了生成式AI的治理方法连续体。我们了解到，治理没有单一的解决方案，而是从具有法律约束力的“硬性”机制到自愿性的“软性”机制的一个谱系。我们重点探讨了法律约束方法，包括现有法规的适用性、新兴的专门法规（如欧盟AI法案、中国AI法规），以及监管对于促进创新、竞争和提供清晰度的重要性。最后，我们介绍了两种具体的法律约束方法：强制披露和独立审计，它们有助于提高系统透明度、问责制和可信度。理解这些治理方法对于负责任地开发和部署生成式AI至关重要。

2：新兴治理框架演进 🏛️

在本节课中，我们将探讨生成式AI领域新兴治理框架的演进。我们将了解现有法律如何被应用于AI领域，以及全球监管机构如何利用现有权力进行执法。同时，我们也会介绍欧盟《人工智能法案》的风险分级方法，并解释自愿性治理机制（如技术标准制定）在填补监管空白中的作用。

现有法律的适用与解释

上一节我们讨论了治理的必要性，本节中我们来看看现有法律框架如何应对生成式AI的挑战。

正如之前提到的，目前有多起法庭案件正在检验现有法律的应用和解释。例如，版权与知识产权问题，以及责任与诽谤索赔，正在全球各地的法院中被积极讨论。国际贸易协定和数据流动安排仍然适用，但正根据生成式AI系统的特性被重新解读。

监管机构的执法行动

在之前的课程中提到，世界各地的监管机构也在运用其现有的调查和执法权力。这是为了确保销售生成式AI服务或产品的公司不会损害消费者权益，或以不公平或欺骗性的方式进行商业活动。

现有法规适用于这些技术。过去几年，例如美国的联邦贸易委员会，在该领域发布了许多警告和指导。FTC也采取了执法行动，处以巨额罚款，甚至做出了要求公司删除其数据集及基于这些数据集训练的模型的裁决。

以下是监管机构采取行动的几个例子：

美国联邦贸易委员会对违规公司处以罚款，并命令其删除数据集和模型。
部门监管机构也可能介入，例如美国证券交易委员会就曾对两家投资顾问公司就其声称使用AI的虚假和误导性陈述达成和解。
在存在数据保护或隐私法规的司法管辖区，相关当局也可能采取执法行动，以确保数据主体的权利在生成式AI系统和商业模式中得到保护。

数据保护与隐私法规

访问个人数据的权利、更正或反对使用数据的权利、被遗忘权以及私人诉讼权，是许多隐私法规的核心。尽管当前的许多调查都集中在一家公司身上，但这更多是因为它是市场的先行者，并不意味着其他参与者已被认证完全符合数据保护或隐私法规。这些数据保护机构的行动和指导将适用于在生成式AI领域使用个人数据的任何公司。

正如本课程前面提到的，关于法规遵从性的问题应在数据收集和模型训练阶段提出，同时也应针对用户提示和响应中所使用和创建的数据提出。

欧盟《人工智能法案》

接下来，我们将目光转向一个专门针对AI的立法框架——欧盟的《人工智能法案》。

2024年通过的欧盟《人工智能法案》为预测性AI系统和通用AI系统都带来了义务。该法案采用了一种基于风险的方法来监管AI用例和实践。法案首先列出了一份禁止使用的用例清单。随后，一系列用户或领域被列为高风险。换句话说，在医疗保健、招聘、教育、执法等领域使用的AI系统，由于可能影响个人的健康、安全或获取资源和机会，被认为具有高风险潜力。

对于这些高风险AI系统，法案要求系统提供者进行合格评估，记录数据集和模型的技术细节，并建立风险和质量管理系统。

欧盟《人工智能法案》也涵盖了生成式AI技术，尽管对提供者规定了不同层级的义务。通用AI系统是指能够执行各种通用功能（如文本、音频、视频识别或生成）的系统，并且可以被下游用户重新用于原始开发者预期或非预期的任务。根据其影响，欧盟《人工智能法案》将这些系统区分为两个层级。

以下是法案对不同类型AI系统的要求：

基础模型提供者：需要遵守欧盟版权法，拥有关于数据集和模型的技术文档，以帮助下游用户做出更明智的决策。
具有系统性风险的高影响力模型：有更严格的义务，包括系统性风险评估和缓解、监控严重事件、进行对抗性测试以及报告能源使用情况。
仅用于生成式AI目的的其他系统：有标签要求。

自愿性治理机制

最后，我们来看看当没有强制要求时，行业如何通过自愿机制进行自我规范。

当组织没有被强制要求采取行动，但被行业规范和标准、市场惯例、声誉问题甚至投资者期望去这样做时，半自愿的治理机制就出现了。其中一种机制是标准制定。在立法尚不存在或不需要存在的领域，这是为新技术和行业设定期望的最有效方式之一。此时，专业社群和相关方会聚集在一起，就这些新技术的开发、部署和管理的最重要要素达成共识。他们设定了组织应遵守的最低标准。

在某些情况下，监管机构可能认定遵守既定的技术标准就足以履行法律义务。换句话说，技术标准成为法规的操作性解释。目前，这对于欧盟《人工智能法案》来说是一种可能性。技术标准制定机构正在努力解释欧盟《人工智能法案》的评估和文档记录义务。

本节课中我们一起学习了生成式AI治理框架的演进。我们了解到，现有法律（如版权法、消费者保护法）正通过法庭案例和监管执法被应用于AI领域。同时，欧盟《人工智能法案》作为专门立法，引入了基于风险的分级监管体系。此外，行业自愿制定的技术标准也在填补监管空白、引导负责任实践方面发挥着关键作用。这些法律、监管和行业标准共同构成了当前生成式AI治理的多元框架。

3：风险与影响评估体系 🛡️

在本节课中，我们将学习风险与影响评估体系。这一体系要求开发者和部署者对其工作可能产生的后果进行评估，并采取负责任的治理措施。我们将了解事前、事后和持续分析的重要性，以及如何通过记录和监控来确保问责。

评估的必要性

开发者和雇主也被期望进行风险与影响评估。尽管目前可能没有强制要求，但未来有可能会立法规定。

数据生命周期中的不同角色

当我们在整个数据生命周期中使用数据或开发基于数据的产品和服务时，不同的参与者会介入其中。

我们的意图通常是解决问题、提高流程效率或降低成本，以及改善结果。除非我们怀有恶意，否则问责制的概念本身就不相关。我们的目标是为个人或整个社会带来利益。

识别与减轻潜在危害

在我们享受工作成果的同时，负责任的方法也要求我们理解可能造成的危害或负面影响，并在伤害发生之前减轻它们。

负责任的治理要求我们进行事前、事后和持续的分析，并采取相应行动。事前分析意味着在事件发生之前。

事前分析：决策与评估

当我们对数据集和设计做出决策时，我们会与一组利益相关者合作，描绘出可能的危害并评估其影响。

一旦我们通过事前分析理解了可能出错的地方，我们就面临着做出决策的需要。在某些高风险、高利害的情况下，你所揭示的危害可能令人无法接受，从而需要停止开发；或者可能需要进一步投入，直到这些危害变得可接受，并且造成伤害的风险被消除或减轻。

记录决策的重要性

通过发现、描绘和减轻这些过程，记录我们所做的决策至关重要。

通过设计实现责任和问责，要求我们记录数据集的定性和定量特征。我们的数据来源是什么，它们是在什么背景下收集的？我们应用了哪些数据预处理步骤？我们将如何训练模型？我们的数据集、模型和系统有哪些已知的局限性？

事后问责：反馈与改进

有时，即使怀着最好的意图，一旦被不同的参与者使用或应用于新的情境，事情也会出错。我们需要能够理解为什么会发生这种情况，并建立控制措施以确保它不再发生。这就是事后问责发挥作用的地方。事后意味着事件之后。用户、媒体、民间社会和审计员都可以以不同的方式参与进来，以保持参与者的问责。

理想情况下，我们希望这种反馈能对产品和服务有所贡献，并且我们希望这种反馈尽可能成为一个建设性的过程。

持续监控与治理机制

除了事前问责，我们还有责任持续监控数据集和结果的变化。虽然预测性AI系统是围绕特定的目标函数和性能评估方法构建的，但生成式AI系统并非如此。用户将创造出许多先前无法预见的用例，并与这些系统进行交互，其中一些甚至是出于恶意目的。

由于用例可能多种多样且不断增多，开发和部署生成式AI系统的组织必须有一种有效的方式来监控用户行为的变化，接收并响应用户的反馈，应对事件，并积极防止系统被用于禁止或危险的领域。

稳健的治理机制要求在组织内为特定角色分配明确的责任，并为他们提供有效的工具来监控变化、记录和报告影响。

总结

本节课中，我们一起学习了风险与影响评估体系的核心框架。我们了解到，负责任的AI开发不仅需要事前分析潜在危害并做出决策，还需要建立事后问责机制以应对问题，并持续监控系统在实际使用中的演变。通过清晰的记录、明确的角色责任和有效的治理工具，我们可以更好地管理生成式AI带来的风险，确保其发展符合社会利益。

4：优先级划分原则 🎯

在本节课中，我们将探讨在开发和部署生成式AI系统时，如何划分优先级，以及这种划分可能带来的社会影响。

概述

本节内容将分析开发者在资源有限的情况下，如何决定优先满足哪些用户群体的需求。我们将看到，基于“二八法则”的效率优先策略，虽然能快速覆盖大部分用户，但也可能导致对少数群体需求的忽视，从而引发公平性和包容性问题。

外部反馈的局限性

正如之前提到的，外部参与者可能会发现系统的意外反应，并向组织提供反馈。

然而，这并不意味着外部参与者应该承担这项工作的主要责任。😔

生成式AI系统应该在开发者能够确保其安全、可靠和值得信赖之后再进行部署。

开发能力与决策权的不均衡分布

但是，正如之前提到的，谁有能力开发这些先进系统，以及谁有权做出这些决策，其分布是极不均衡的。

你可能熟悉二八法则。

它可以转化为一种以效率为中心的方法。这意味着，你只需覆盖20%的范围，就能满足80%的需求。因此，只需付出20%的努力。

这意味着在一个快速变化的决策或产品领域，你会追求容易且快速的胜利，而不一定花费精力去理解为什么有些人会落在“外部空间”。

忽视少数群体的后果

Tverrans教授促使我们思考忽视那20%人群需求的后果。😔

我们知道，在统计学中，分布总会存在差异。然而，我们也会有意识地决定如何定义“均值”、“规范”和“平均值”，然后将人群与这个决定进行比较。

当我们决定优先考虑谁的目标和需求时，我们也在选择我们有多重视那20%处于外部空间的人。

如果我们忽视那20%，会发生什么？我们忽视了8%的知识领域，会错过什么？😔

如果你发现自己身处那些“困难”的人群中，会发生什么？

对于那些不符合大多数人或既定规范的人来说，结果可能会截然不同。

这种排斥的重复模式，也可能在多个领域产生累积效应。

以下是可能出现的几种情况：

设计不匹配：设计可能不适合这个人，或具有相似特征的一群人。
造成伤害：有时甚至可能直接造成伤害。
产品可用性差：之前，我们在生成式AI系统的语言或图像多样性背景下讨论过这个问题。适用于这些“外部”人群的产品，可能更难以获得。😔
性能低下：产品的可靠性、准确性或功能性可能较低。

主动理解的重要性

如果没有付出有意识的努力去理解这些群体的需求，换句话说，这些数据代表了谁？是什么导致他们处于边缘？这是一个缺陷还是一个特性？这是一个反复出现的问题吗？

那么，他们将持续面临伤害、风险和代价。😔

市场与消费者的期望

尽管是一项新兴技术，消费者和许多企业已经期望供应商在生成式AI方面承担一定水平的责任和指导。

消费者既兴奋又担忧。

开发和部署这些系统的企业将需要满足这些期望并建立信任。

投资者和消费者期望组织能够负责任地行事。

总结

本节课中，我们一起学习了优先级划分原则在生成式AI开发中的关键作用。我们认识到，单纯追求效率的“二八法则”可能导致对少数群体需求的系统性忽视，从而引发公平性、包容性和产品可靠性等问题。作为开发者和企业，有责任主动理解并考虑所有用户群体的需求，以建立可信赖的、负责任的AI系统。

5：战略协同与利益相关方

在本节课中，我们将探讨企业在部署生成式AI时需要考虑的战略协同、利益相关方参与以及成本效益等商业考量。我们将了解如何超越技术炒作，从组织价值和目标出发，负责任地评估和引入生成式AI。

商业应用现状与信任基础

上一节我们讨论了全球治理框架，本节中我们来看看企业在实际应用生成式AI时面临的商业考量。

Salesforce进行的《生成式AI快照研究》系列调查涵盖了多个行业的4000多名全职员工，以及美国、英国、澳大利亚和印度的4000多名普通成年人。调查显示，这些国家的企业可能已经越过了当前或计划使用生成式AI的门槛。在接受调查的员工中，五分之三的人表示他们目前正在使用或计划使用生成式AI。回应调查的领导者们预计生成式AI将很快在其组织中扮演重要角色，并且几乎一致同意他们的企业必须采取措施以负责任的方式使用生成式AI。

同一调查显示，当员工被问及“确立生成式AI作为一项可信技术需要什么条件”时，他们的主要回答包括：

人工监督与安全措施
可信的客户数据
道德使用准则

这些结果凸显了信任的重要性，以及在决定是否为组织部署生成式AI系统时，采取负责任AI实践的必要性。

超越炒作：以价值为导向的决策

在评估是否部署生成式AI时，问题不应聚焦于这项新兴技术的炒作，或对错失机会的恐惧。换句话说，问题不应始于“我们应该使用生成式AI，然后找一个用例”。

相反，组织内的利益相关方应先识别出内部或外部需要改进的特定流程或方法，然后询问生成式AI是否能用于该目的。同样，不应只关注竞争对手在做什么或不做什么，而应思考：什么用例能为我们的组织或品牌创造竞争优势？

沿着这个思路，战略价值协同至关重要。在此背景下，可以从多个层面进行讨论：

生成式AI的使用是否符合我们的组织价值观和目标？
它是否会为我们的外部利益相关方（客户、公民等）增加价值？
如果内部部署，它是否会帮助我们的员工？
它是否会降低组织的总体成本？
我们能否同时实现成本降低和为利益相关方增加价值？如果不能，我们优先考虑哪一个？

AI价值链的复杂性与责任归属

回答上述问题并确保协同的一个主要复杂因素，与AI及生成式AI产品的价值链有关。没有任何单一实体能控制从数据创建或标注、托管或计算架构到模型训练决策的整个开发过程。

不同的激励、动机和权衡为这些系统构建了复杂的层级。价值链中的每个参与者对最终产品的贡献和控制程度不同，他们所处的权力状态也不同。从治理或法律角度来看，责任和义务的分配也很困难。自然，最终决定部署商业产品的供应商，以及任何可能在这些通用产品之上构建进一步应用的实体，承担最终责任。然而，即便如此，也可能存在不平衡。换句话说，部署系统的组织可能过于依赖最初开发通用AI系统的组织。

除了价值链中的所有参与方，组织在AI模型的整个生命周期中，可能还需要与许多其他外部方合作。这一长串的利益相关方强调了治理不能是事后才考虑的事情，并且需要多学科参与才能有效。

利益相关方参与与全组织方法

外部利益相关方的参与在合作与共同创造的过程中最为有益。在这种方法中，各方共同设计，优先考虑最终用户的需求。这种参与不仅有助于发现影响和风险，还能改进功能、数据的代表性和可用性，从而增强产品。不言而喻，受影响社区的利益相关方的参与必须是实质性和公平的。

为了建立生成式AI的战略协同和治理机制，需要采取全组织方法，让组织内多个职能部门参与进来，共同解决关键问题。

长期投资与成本考量

生成式AI系统需要持续的维护投入，会产生持续的成本，是一项长期投资。需要考虑对人才、技术基础设施、数据获取、确保模型质量、模型训练和维护、事件响应（包括可能的公关成本）以及网络安全和合规性等方面的投资。

此外，部署生成式AI将对现有的内部业务或决策流程产生影响。换句话说，评估我们通过生成式AI在业务某一领域产生的成本或时间效率，是否会增加组织内其他领域的成本和时间，这一点很重要。

总结

本节课中，我们一起学习了企业在部署生成式AI时需要考虑的战略协同与利益相关方问题。我们认识到，决策应始于组织的具体需求和价值目标，而非技术本身。生成式AI的引入涉及复杂的价值链和多方责任，需要采取全组织、多学科的方法进行治理。同时，它是一项需要持续投入的长期投资，必须全面评估其对组织整体流程和成本结构的潜在影响。建立信任、确保负责任的使用，是成功整合这项技术的关键基础。

6：价值与成本平衡模型

在本节课中，我们将学习如何为生成式AI的部署构建一个治理框架，并理解其价值与成本之间的平衡关系。我们将探讨组织在采纳生成式AI时需要提出的关键问题，以及如何评估其长期价值。

治理框架的关键问题

一旦确定了生成式AI的用例，治理工作就应围绕一系列关键问题展开。以下是组织在构建自身治理体系、确保负责任地部署和使用AI时，需要考虑的初始问题列表。

风险识别：部署生成式AI预见到哪些风险？
控制措施：我们是否已具备相应的控制措施？
政策与流程：需要进一步实施哪些政策和流程？
法规义务：哪些现有法规义务适用于生成式AI？
监管指引：监管机构对此技术提供了哪些警告或指导方针？
知识产权保护：使用生成式AI时，如何保护我们自身及客户的知识产权？
合同协议：我们是否需要与模型提供商或我们自己的客户修订或签订任何合同协议？
决策影响：生成式AI将如何影响内部决策过程？
人员准备：我们应如何让内部利益相关者和员工做好准备？
意见收集：我们的员工如何分享他们对生成式AI的想法（无论是关于采用的用例，还是他们可能存在的风险或担忧）？
应对机制：对于可能影响组织的滥用或恶意活动，我们有哪些机制和计划？

内外部考量

上一节我们介绍了治理需要提出的内部问题，本节中我们来看看组织在外部层面需要考虑的因素。

在外部，组织首先需要考虑部署商用生成式AI产品或通过API连接现有基础模型所产生的上游依赖。此外，还需评估部署对其下游客户的影响，以及这种影响对客户体验、信任和品牌忠诚度是积极的还是消极的。

成本构成与环境影响

除了治理问题，成本是另一个核心考量因素。生成式AI系统的成本产生于模型开发、训练和微调阶段，以及在用户提示产生推理的运营阶段。事实上，从长远来看，推理成本可能远高于初始训练成本。

除了财务成本，企业还需考虑环境影响。排放量可能受多种因素影响，例如：

所使用的硬件
执行代码或运行推理所需的时间和持续时间
甚至所连接的能源电网类型

在比较不同供应商时，企业可能需要了解其环境影响。然而，当前能源使用情况缺乏透明度，使得这种比较极其困难甚至不可能。

价值评估与决策

在考虑了所有不同的对齐和成本因素后，价值确定成为最终问题。是否采纳生成式AI系统的决策，需要考虑其为组织带来的持续增值，并就如何衡量成功达成一致。

价值公式必须长期成立。用公式表示即：

长期价值 (V_longterm) ≥ 部署生成式AI的总成本 (C_total)

换句话说，部署生成式AI的价值从长期来看必须保持不变或上升。

本节课中我们一起学习了构建生成式AI治理框架的关键问题，分析了其内外部影响、成本构成（包括环境影响），并最终理解了评估其长期价值的核心公式。这有助于组织在采纳技术时做出全面、负责任的决策。

7：Susannah Shattuck访谈：生成式AI治理重要性

概述

在本节课程中，我们将通过Susannah Shattuck的访谈，探讨生成式人工智能治理的重要性。我们将了解她从早期AI部署中获得的经验教训，以及为何为生成式AI建立强大的治理框架和“安全沙盒”环境至关重要。课程还将讨论如何在AI供应链中管理责任与安全。

早期AI部署的经验与教训 🧠

AI治理对我而言至关重要。我投身这项工作，是因为我曾是2016年早期IBM Watson实施团队的一员。虽然距今不算遥远，但从技术角度看，那仿佛是几个时代之前。当时，我们对部署AI系统知之甚少。当然，那时还是基于预测性机器学习的狭义AI系统。

我们对于将这些系统投入生产环境存在大量未知，因此也出现了许多问题。我有时会分享一个统计数据：当时我们为许多缺乏深厚数据科学专业知识的大型传统企业构建部署方案，但在六个月内，这些部署往往就无法在生产环境中正常运行了。这是因为，与构建和部署无需特别“照料”的程序化软件不同，监控AI系统的数据漂移和性能在当时并未被深入理解。

这些AI系统的经历让我深刻认识到，将AI部署到现实世界会带来新颖且关键的风险。在Watson实施团队工作几年后，我有机会加入一个新团队，专注于构建全新的产品——首个用于机器学习系统的模型监控平台。

我非常幸运地被指派负责该平台中的偏见检测与缓解功能集。

最后我想分享一点，这让我深刻理解了负责任AI和技术的重要性，以及推动组织负责任地部署AI所面临的挑战。我曾与几家大型银行开会，介绍我的产品和偏见检测缓解方案，但我被要求离开会议室。因为他们有一种观念认为，如果组织不知道其模型中存在偏见，就不会为此承担责任；但一旦有任何书面记录表明他们对此有所了解，就会面临法律风险。律师们因此要求我离开。这段经历极大地激励了我，让我决心将职业生涯投入到研究如何改变激励机制，并说服组织真正承担起责任，为其AI系统可能造成的伤害或引入的新风险（包括社会风险和组织风险）负责。此后，我的职业生涯便专注于这一领域。

为何生成式AI治理至关重要 ⚖️

上一节我们回顾了早期AI部署的挑战，本节中我们来看看为何生成式AI的治理尤为关键。

对生成式AI进行强有力的治理至关重要，因为生成式AI与任何新兴技术一样，不仅对于考虑部署它的组织，甚至对于处于开发大语言模型和基础模型前沿的专家技术人员而言，都仍处于被理解的过程中。

回想我早期的职业生涯，当时我们对如何在现实世界中安全、负责任地管理和部署预测性机器学习系统存在大量未知。对于这些极其庞大、复杂的模型，未知数更大。即便是世界顶尖专家，也无法完全解释这些系统的工作原理，也不完全清楚它们所有可能的失败方式。

我们几乎每天都在持续发现新的失败模式、新的“越狱”或攻击这些系统的方法，我认为这恰恰表明我们仍在努力理解这些系统。因此，再次基于在预测性机器学习领域的亲身经历，我深知对于一个组织而言，如果你使用的技术是新的、未被充分理解的，那么建立适当的防护措施以确保你不是在现实世界中“学习”、不是在实时处理真实数据时才发现失败模式和风险、不是在涉及真实人类的情况下做出决策，是至关重要的。因为这是让你的组织登上新闻头条、导致糟糕事件发生的最快途径之一。

我绝对不反对我们通过实验、测试来更好地理解这项技术。我认为尝试使用生成式AI系统来改善生活和工作至关重要。但你需要在一个安全的环境中进行，这样即使发生意外，你也不会登上新闻头条，不会伤害到他人，也不会因为组织发生可怕的事情而丢掉工作。我亲眼见过这些事情发生。

我认为，当前的生成式AI治理，核心在于确保你拥有一个安全的空间、一个安全的环境来测试、探测，甚至诚实地尝试“破坏”这些系统，以真正更好地理解，如果你想把一个生成式AI系统投入生产，究竟需要设置哪些防护措施。

建立安全的实验环境 🧪

上一节我们强调了治理的重要性，本节我们将探讨如何开始实践。

以下是建立安全实验环境的关键步骤：

1. 设置“沙盒”环境
我总是建议考虑试验或测试生成式AI的组织建立一个“沙盒”。可以把它想象成一个铺有橡胶衬里的房间——一个安全空间。即使出现问题，该系统也不会接触现实世界或敏感数据，也不会与可能不完全了解该系统风险性或实验性质的普通用户互动。建立一个沙盒环境，让一个核心团队专注于理解该系统的硬性边界和失败模式，对其进行充分测试，并尝试各种不同的方法。在企业实践中，我们通常看到组织会建立一个数据清洁环境，将模型部署到一个不接触任何敏感公司数据的环境中，并且与系统交互的人员都经过培训，知道不要向其输入现实世界或敏感数据。以此作为了解这些系统潜力的方式。

2. 从狭窄用例开始，而非聊天界面
ChatGPT确实激发了全世界的想象力，在很多方面，这很好，因为它清晰地展示了这些系统的潜在力量。但我认为ChatGPT带来的真正危害是，它让每个人都立刻认为聊天界面是大语言模型的最佳或首选交互方式。实际上，我认为聊天界面是企业组织最糟糕的起点，因为它有太多需要应对的失败模式。用户与聊天系统交互的方式几乎是无限的，因此你需要设置数量惊人的防护栏，以防止用户输入有害话题或“越狱”提示，导致模型输出有害内容。对于聊天界面，你需要应对的失败模式太多了。

因此，我鼓励组织首先考虑将大语言模型嵌入到现有的工作流程中，该工作流程中原本就存在某种语言理解或非结构化数据理解的环节，可以用大语言模型实现自动化。将大语言模型放在一个非常狭窄的“盒子”里，不要给它太多自由，也不要给用户太多与之交互的自由。 这样，为保护这个狭窄的用例设置一套狭窄的防护栏会容易得多。当然，随着组织更熟练地理解LLM的所有失败模式、用户可能“越狱”或与之交互的所有不同方式（这些最终会导致有害行为），你可以扩大允许人们与这些系统交互的范围。但请从非常狭窄的用例开始，因为这样更容易建立一套有针对性的防护措施。

管理AI供应链中的责任与安全 🔗

上一节我们讨论了如何安全地开始实验，本节我们来看看一个更宏观的挑战：如何管理生成式AI整个供应链中的责任、问责和安全。我认为这是生成式AI治理与预测性机器学习系统治理之间最大的区别之一。

预测性机器学习系统通常是在内部构建，或者被构建并嵌入到一个非常具体的应用程序中。因为预测性机器学习系统是“狭义”的，你在特定类型的数据上训练它们，它们无法与其他类型的数据交互并产生有意义的输出。

生成式AI系统、大语言模型则根本不同。像OpenAI这样的组织训练了一个大语言模型，现在可以被成百上千个不同的应用程序用于截然不同的目的。与我合作的许多客户（通过Cto AI）并不构建自己的大语言模型，他们没有资源或专业知识，坦率地说，他们也不需要。因为现实是，与仅仅使用正确的提示词并将一个通用大语言模型嵌入到具有适当用户交互的应用程序中相比，微调在性能上带来的投资回报率提升并不显著。因此，越来越多的组织使用由他人训练好的现成模型。

我们在管理供应链、责任和问责方面看到的最大挑战之一是，大语言模型提供商在向市场其他方面提供透明度方面存在不足。这包括：用于训练这些系统的数据是什么、这些系统具体是如何训练的、如何测试的，以及可能采取的任何内部模型开发防护栏或安全措施。特别是在用于训练这些系统的数据方面，透明度非常低，因为大语言模型提供商声称这是他们的“秘方”，是他们的竞争优势所在。但对于市场的其他参与者来说，这非常危险，因为他们无法就是否以及如何部署这些模型做出明智的决策。

实际上，我认为我最期待监管发挥作用的一点，就是强制要求整个AI价值链的透明度。在3月14日，也就是欧盟《人工智能法案》实际上通过后的第二天，我对其要求模型提供商明确、透明地披露模型的某些方面感到非常兴奋。我相信这将有助于供应链上游的应用程序构建者或部署者，就是否愿意使用某个特定模型、使用某个特定模型是否安全做出明智的决策。

除了透明度要求，供应链管理中另一个非常重要的环节是在供应链的每个环节进行测试。仅仅由模型提供商进行测试，然后应用程序构建者就将其视为真理并直接采用，这是不够的。这是由于大语言模型极其灵活的特性所决定的。模型提供商所做的测试，不足以深入理解模型在特定上下文中的失败模式。因此，应用程序提供商需要进行自己的测试，部署者也应该进行自己的测试，以深入理解该模型在将要部署的特定上下文中究竟如何行为和表现。

这是预测性机器学习与大语言模型的另一个重大区别。过去，构建模型的数据科学家说“我运行了所有这些测试”，你完全可以相信他，然后部署到你的应用程序中，就万事大吉了。但现在情况不再如此。因此，我也对新的测试工具和方法、以及“红队测试”方面不断增长的专业知识感到兴奋，这些正开始渗透到整个供应链中。我认为这对于那些仅仅是购买包含大语言模型的现成应用程序的公司来说，也将是一个非常重要的教育点。他们需要接受培训，了解如何测试该模型，以确保它符合他们的风险承受能力和特定环境的要求。

总结

在本节课中，我们一起学习了生成式AI治理的重要性。我们从Susannah Shattuck的早期AI部署经验出发，理解了缺乏治理可能带来的现实风险。我们探讨了为何生成式AI因其复杂性和未知性更需要强大的治理框架，并学习了建立安全“沙盒”实验环境和从狭窄用例开始实践的具体方法。最后，我们深入分析了管理生成式AI供应链中责任与安全的挑战，强调了透明度要求和在各个环节进行独立测试的必要性。核心在于，在充分利用生成式AI潜力的同时，必须通过负责任的治理来管控风险，确保技术发展安全、可控且有益。

8：构建开源集成决策体系

在本节课中，我们将探讨企业在决定采用生成式AI时面临的核心决策：是自行构建、修改现有模型，还是通过API集成商业模型。我们将分析每种选择的利弊，并介绍两种提升模型性能的关键技术：检索增强生成和微调。

决策框架：构建、修改还是集成？

当决定使用生成式AI时，首要决策之一是在“构建”、“修改”和“集成”之间做出选择。

以下是三种主要路径的概述：

自行构建模型：从零开始训练模型。这种方式让你能完全掌控数据集的构成与质量、整体基础设施与架构、分词器、网络安全以及持续维护。然而，对于许多中小型企业而言，由于产生的显著成本，从零开始训练生成式AI系统可能并不可行。
修改开源模型：使用现有的开源模型，并为其特定目的进行修改。开源模型的性能水平通常落后于商业模型几个月，并且要求组织拥有自己的计算资源。但另一方面，它在模型更新和隐私方面提供了更多控制权。
集成商业模型：通过API使用商业模型。商业化的基础模型通常能提供更好的性能，并且在训练所需的计算资源方面是现成的。但它们可能在模型更新、网络安全甚至订阅费用等方面造成对供应商的依赖。此外，主要供应商可以监控使用情况，并且根据设置或协议，可能使用你的数据来进一步训练模型。

在做出选择时，还需持续考虑所需的资源（即数据、算力和人才）是否可用，以及业务能否管理产品的可扩展性、互操作性和安全性。

提升模型性能：RAG与微调

上一节我们介绍了选择模型的基本路径。本节中我们来看看，当选定基础模型后，如何针对特定需求提升其性能。当考虑将大语言模型用于商业目的时，你可能会注意到，这些通用模型擅长高级信息检索和生成，但在特定领域表现不佳。或者你可能考虑将这些系统用于内部，应用于组织的知识库。无论哪种情况，通用模型都可能需要进一步的微调，或通过方法来为其补充额外的上下文或领域特定数据。

这时，微调或 检索增强生成 就派上了用场。

检索增强生成

RAG允许模型连接到一个额外的数据集，该数据集可能包含更多与领域相关或组织内部的信息。当用户向系统提问时，RAG会在领域数据集中执行搜索，然后利用该上下文信息来生成输出。

当连接到可能存在知识截止日期的通用模型时，RAG还可以提供更新、更及时的信息。通过这种数据库集成，输出的准确性和相关性可以得到改善，但并非百分之百可靠。即使使用了RAG，模型仍然基于统计关系，而非真正的推理或意识。

模型微调

另一方面，微调是利用人类反馈、技术护栏或其他AI模型来调整大语言模型的输出，或为其提供额外上下文。微调可用于评估或减少有害、冒犯、有毒偏见或不准确的结果，或用于编程技术护栏。

在之前专注于生成式AI系统基础知识的课程中，我们已经讨论过基于人类反馈的强化学习和其他微调活动。本质上，预训练的通用模型被提供了带标签的数据点，这些数据点包括示例和正确结果。标注数据必须具有高质量，以便模型能更清晰地学习模式和联系，从而改进其输出。这比从头开始训练模型的成本要低。

微调还可以减少在技术护栏和评估方面所需的重新训练频率，或者也可以考虑编程额外的控制措施。需要提醒的是，对RAG的谨慎同样适用于微调：这些都是改进性能和输出的方法，但并非无错误的增强手段。

本节课中，我们一起学习了企业在采用生成式AI时的核心决策路径（构建、修改、集成），并深入探讨了两种关键的模型优化技术：检索增强生成和微调。理解这些选项的利弊以及技术的适用场景，对于制定负责任且有效的AI集成策略至关重要。

9：模型访问控制要素 🔐

在本节课中，我们将探讨生成式AI模型开发与应用中的一个关键决策点：访问与控制。我们将了解不同角色（开发者与使用者）面临的决策问题，并分析“黑箱”设计带来的透明度与风险挑战。

另一个决策点关乎模型访问。如果你是开发者，这个问题涉及你应向他人提供多少访问权限和控制权。

如果你是正在比较可用模型、为组织使用做决策的实体，问题则转变为：你需要多少信息来做出明智的决策？你是否需要调整模型行为的灵活性？你是否希望你的使用被追踪和监控？

世界经济论坛的框架为开发者和其它参与者之间不同访问与控制级别的考量提供了进一步建议。

在探讨这些关于访问与控制的问题时，我们也需要意识到这些系统的“黑箱”设计。

当前许多生成式AI产品是付费的。供应商选择不披露某些信息，即使他们在技术上可以做到。这造成了透明度问题，并影响了客户和用户做出明智决策的能力。

由于这些模型的规模，它们在设计上本就复杂。要理解模型为何以某种方式运行或表现出特定行为并不容易。

生成式AI系统本质上是概率性的。即使提示词保持不变，模型也可能提供不同的输出。作为机器学习系统，由于用户与系统交互的方式，模型行为也可能随时间而改变。

“黑箱”系统，无论是预测性AI还是生成式AI，都给开发者带来了另一个主要风险。当模型行为结果发生变化时，很难确定这种变化是由于系统的固有特性、数据和模型漂移，还是由于恶意攻击所致。

作为一种新兴技术和产业格局，决策过程还存在更多复杂因素。

其中许多因素源于一个事实：从头开始构建这些模型所需的基础设施需要巨额投资。这反过来又导致了权力集中、不透明性以及问责与控制的问题。

与企业参与者决策相关的挑战，还因误用、事故和意外事件的可能性而变得更加复杂。

本节课中，我们一起学习了模型访问与控制的核心要素。我们了解到，开发者需要决定开放多少权限，而使用者则需要评估所需的信息和控制级别以做出决策。同时，我们认识到“黑箱”特性带来的透明度缺失、行为不确定性以及归因困难等风险，这些都与当前产业集中化投资的背景紧密相关。理解这些要素是负责任地开发和使用生成式AI的重要基础。

10：透明度考量维度

在本节课中，我们将要学习在决定开发、部署或使用生成式AI系统后，需要考虑哪些治理机制。我们将探讨贯穿模型生命周期的治理活动、红队测试、性能评估基准以及评估过程中的主观性问题。

上一节我们介绍了影响AI系统透明度的因素，本节中我们来看看为确保负责任地开发、部署和使用生成式AI系统，需要建立哪些具体的治理机制和评估方法。

贯穿生命周期的治理活动

组织可以考虑在生成式AI模型的整个生命周期中实施治理。在这个生命周期中，与利益相关者参与、风险管理、可解释性和文档记录相关的活动适用于每个阶段。

此外，在从开发到运营监控的每个阶段，还应考虑以下方面：

训练数据集的质量
系统的性能和韧性
关于输出内容生成或合成性质的披露与标记

在系统部署之前，组织还需要确保监控机制到位。一旦部署到真实世界环境中，系统的性能是否能够保持？如果系统连接到互联网，数据和响应质量是否会发生变化？是否有任何意外、未预见或恶意的用例出现？

所有这些治理措施确保了生成式AI系统的负责任开发、部署和使用。它们同时也是数据和AI开发的最佳实践。换句话说，这些不应被视为额外的、“锦上添花”的活动，而实际上反映了创新的质量和最佳实践。

红队测试方法

到目前为止，我们讨论了上述几种防护措施。另一种方法是对生成式AI模型进行红队测试。

红队测试是一种评估过程，通过在模型训练完成后，探测模型是否存在令人担忧或不希望出现的行为来进行。红队测试起源于军事演习和规划，其中一些人被要求像敌方一样思考。这种方法后来被网络安全专业人员采用，用于寻找漏洞。

红队测试比其他安全和治理方法吸引了更多的媒体关注。它无疑是评估的一个关键组成部分，允许来自不同专业知识和背景的人员评估系统。然而，它应仅被视为更广泛治理工具包中的一个单一工具。

以下是红队测试当前存在的一些局限性：

资源密集：与评估基准类似，红队测试需要大量资源。
缺乏标准化流程：目前没有标准或稳健的流程。
可能产生错误的安全感：红队测试是一种暴露性干预，仍需正式化和结构化。
定义模糊：关于什么算作“令人担忧的行为”的定义需要达成一致。
模型访问问题：AI模型的访问问题也需要解决。
方法普适性不足：一种红队测试方法可能不适用于所有风险领域或情境。

尽管如此，了解红队测试的益处和局限性有助于确定哪些其他治理机制可以补充这些工作。

性能评估与基准测试

在部署之前或整个用户操作生命周期中，您可能还需要比较系统的性能。

生成式AI系统的基准测试和性能评估仍在发展中。私营供应商、学术机构以及计量学机构都在致力于开发不同的评估方法。

对于Transformer模型，比较包括计算内存使用量以及进行训练和推理所需的时间。在输出方面，有些领域存在客观的“基本事实”，例如物理或化学，可以据此评估响应的准确性或上下文精确性。

然而，由于评估的主观性或审美性质，评估语言或图像响应的质量要困难得多。在许多情况下，如果您是一家试图评估商业产品以做出决策的企业，您最终可能会陷入被迫进行“苹果与橙子”比较的境地。

评估中的另一个复杂因素是，目前可用的大多数基准测试都是为特定任务或场景创建的，而不是为了全面评估一个系统。例如，您可以评估模型在算术任务、解决编码问题的能力或总结给定文本的准确性方面的表现。您可以评估一系列任务的组合。然而，鉴于不同的架构或训练方法，系统之间的比较更加困难。

当前评估的局限性

目前，评估存在一些局限性，需要随着更多研究在未来加以克服。

以下是当前评估框架的一些局限性：

侧重统计元素：一些评估框架侧重于响应的统计元素，例如计算词嵌入之间的相似度。然而，它们在识别或评估遗漏或意外的任务能力方面可能效果较差。
难以扩展：这些基准评估目前也不容易扩展，需要付出努力以确保它们能正确应用于您的模型。
存在数据泄露风险：基准测试可能存在数据泄露，模型可能记住了答案，从而使结果看起来更高。
易受扰动影响：同样，基准测试可能容易受到扰动的影响。

简而言之，不应轻视基准评估。

评估执行者的考量

关于评估的最后一个重要考虑是：谁为生成式AI产品执行评估。

正如我提到的，可能有许多参与者，或参与者的组合，被纳入这个过程。在缺乏标准和全面的评估方法以及强制披露要求的情况下，已经存在主观性和不透明性的因素。这个问题由于人类主观性很容易渗入过程而进一步复杂化。

例如，在比较模型结果并选择危害较小的选项反馈给训练时，人类评估者的选择可能会受到其文化、教育、专业背景的影响。一些评估者可能无法完全访问训练数据集和模型。一些内部评估者可能不一定拥有多样化的背景，从而无法考虑和评估大部分的社会影响。

本节课中我们一起学习了确保生成式AI系统透明和负责任的多种治理与评估机制。我们探讨了贯穿模型生命周期的治理活动、作为关键但非唯一工具的红队测试、仍在发展中的性能基准测试及其局限性，以及评估过程中难以避免的主观性因素。理解这些维度有助于组织构建更全面、有效的负责任AI治理框架。

11：风险管理与场景限制机制 🛡️

在本节课中，我们将要学习在生成式AI的设计、开发与部署过程中，如何进行持续的风险评估，以及如何通过设定使用限制和部署策略来管理风险。我们将探讨风险容忍度的评估、限制机制的建立，以及负责任部署的关键决策。

上一节我们介绍了风险评估的框架，本节中我们来看看如何根据评估结果来管理风险并设定限制。

随着组织在设计、开发或部署阶段推进，会对已广泛讨论过的风险进行持续评估。

性能指标以及对所有风险的思考和检查，能让组织更好地评估其风险容忍度。某些风险发生的可能性较低，但如果真的发生，其影响可能很大。将每个风险置于特定的发生可能性和影响概率中，有助于组织优先缓解这些风险。

在完成风险容忍度评估后，或者由于现有法律，某些风险可能变得不可接受。

所有生成式AI产品都附带使用条款和条件。其中一些工具还附有一份不允许的使用案例清单或相关限制。尽管这些系统可能为商业和个人用户创造重大机遇，但它们也可能被用于生成有害内容或被恶意目的滥用。这些系统降低了恶意行为者从技术中获益的成本和技术知识门槛。认识到此类风险，就需要将模型的使用限制在预期用途之内。

当然，仅仅注明某些用例不被允许，并不能阻止许多行为者实际尝试。

因此，在部署生成式AI产品时，可能需要对某些用例进行追踪。这应伴随着明确的违规处理机制。建立边界，以便尽可能避免无意中的违规案例。

以下是可采取的额外机制：

为用户提供反馈机制。
建立客户或讨论论坛。
提供健全的事件报告工具。

因此，如果您希望开发一个生成式AI系统，或部署一个供个人用于不同目的的系统，您可能需要思考您的组织对哪些情况感到舒适，对哪些不舒适，以及如何监控和执行您的决策。如果您是受此类生成式AI使用影响的个人，您也可以询问相关的监控和响应机制。

另一方面，正如本课程系列前面许多案例所提到的，目前市场上一些大型模型本身就可能违反这些内容准则。政策制定者和法院正在试图决定是否以及如何追究其中一些大公司的责任。当大型语言模型或图像模型自身产生有毒、欺骗性、误导性或有害内容时，数据保护、隐私和企业监管机构正在就使用个人信息训练这些系统做出决策。

另一个商业决策是选择在内部部署模型、外部部署模型，还是两者结合，以及选择分阶段部署还是全面部署。

当然，内部部署与外部部署很大程度上取决于具体用例。在流程最初阶段确定的价值主张可能已经推动了这一决策。然而，组织可能会先与少数部门进行试点部署，然后再全面铺开。

同样，即使一个生成式AI系统是用于外部用例，组织也可能选择分阶段部署，即先在内部使用该系统，与利益相关者合作完善系统，然后再决定全面外部部署的方法。

负责任意味着我们应该有意识地决定如何开发和部署系统，避免陷入技术解决方案的陷阱。换句话说，仅仅因为我们有能力部署，并不意味着我们就应该部署。

有时，组织风险评估的结果可能导致需要采取关键行动。负责任的生成式AI意味着，如果对安全、安保和人权的风险无法缓解，则不应部署系统。如果我们部署的系统出现了新的安全、安保和人权风险，且此风险无法缓解，那么负责任也意味着终止该系统。

本节课中我们一起学习了风险管理与场景限制机制。我们了解到，持续的风险评估和容忍度分析是基础，而通过明确的条款、监控和反馈机制来限制使用场景是必要的风险控制手段。此外，负责任的部署决策，包括内部/外部、分阶段/全面部署的选择，以及当风险无法缓解时终止系统的决心，都是构建可信、可靠生成式AI生态系统的关键组成部分。

12：生成式AI的隐性劳动力 👥

在本节课中，我们将探讨生成式AI系统背后一个常被忽视的关键组成部分：人类劳动。我们将了解这些系统不仅依赖于算法和数据，更依赖于大量、分散且往往被低估的人力工作。

生成式AI是一项令人兴奋的新兴技术，它为各种应用场景创造了众多机会和可能性。与任何其他算法系统一样，生成式AI的能力和性能也依赖于数据。

然而，可以认为，生成式AI比预测性AI系统更加依赖于人类劳动和人类生成的数据。

数据来源：系统的根基

上一节我们提到了数据的重要性，本节中我们来看看这些数据的来源。即使在新的生成式AI系统被构思和开发之前，数据就已经由数百万人创造出来了。

以下是构成AI系统训练数据基础的主要人类劳动成果：

作者和专利持有者的作品。
个人博主和内容创作者的产出。
记者和学者的文章。
艺术家的创作。
甚至数百万人的社交媒体帖子都被抓取来为这些系统提供动力。

在之前的课程中，我们讨论了版权考量问题。现有法规的解释和新政策的制定将决定版权和知识产权的未来。我们也将看到更多合成生成的数据被纳入训练数据集。

然而，人类生成的数据凭借其多样性、适应性和边缘案例，将始终是这些系统的根基。

显性劳动：系统开发与部署

一旦萌生开发并部署一个生成式AI系统的想法，过程中当然会投入大量的人类劳动。

从构思系统到设计模型架构，再到创建数据结构和接口，以及对这些系统进行评估、监控和管理，这些都是当今劳动力市场中更受关注和获得更高报酬的任务。

大约十多年前，《哈佛商业评论》曾将数据科学家称为21世纪最性感的职业。快进到现在，与数据和AI相关的职位头衔，在招聘报告中占据了最佳工作的主体。

与此同时，美国劳工统计局预测，此类职位的增长速度将远快于所有其他职业。

隐性劳动：数据准备与质量保障

然而，人类劳动并未止步于此。仍然需要有人来执行以下关键但常被忽视的任务。

以下是支撑AI系统运行却常被低估的“隐性”工作：

聚合数据集。
进行质量增强。
标注数据。
测试和审核产品。
向开发团队和客户提供反馈与支持。

这些才是我们真正要讨论的任务，因为从事这些工作的人，在很大程度上是隐形的、分散的且未被充分重视的。

在IBM最近一项针对28个国家、跨越三个行业的3000多位CEO的调查中，围绕数据来源或数据倾向性的担忧被列为采用生成式AI的最大障碍，其次是对数据安全的担忧。

没有数据，AI就不存在。没有高质量的数据和稳健的数据质量控制，我们的生成式系统将更容易产生有偏见、有害或有毒的结果。

AWS首席数据官议程的另一份调查报告同样将数据质量列为采用生成式AI系统的最大挑战。然而，我们对待这些数据劳工的方式，与对待供应链中其他人员的方式并不相同，甚至相差甚远。

幽灵工作：被低估的贡献

这些任务通常是重复性的、手工的且劳动密集型的。劳工可能是在用关键词标记视频、捕捉图像、分析文本情感或转录音频。工作内容可能涉及监控数据集中已有的或用户提交的有毒、暴力或非法内容。这些数据标注员也在模型训练前帮助标记此类内容。

他们为CEO们所担忧的数据质量做出了重大贡献。这是至关重要的工作。例如，准确标注的数据有助于机器学习模型更精确地从数据集中学习。高质量的标注有助于减少偏见。同样，人类反馈的调用有助于实现这些模型的对齐目标。

然而，这项工作被外包，且报酬低廉。劳动力市场将前一类任务（如开发数据和模型的架构与结构）归类为知识工作，而这些基础任务在文献中则被视为体力劳动，也被称为点击工作。这些数据工作者所需的语言知识、文化背景和地方性知识虽然必要，却未得到相应的回报。

事实上，尽管生成式AI承诺提高任务效率并减少枯燥工作，但在系统的开发和维护中，实际投入了大量此类人类劳动。

“幽灵工作”一词由人类学家玛丽·L·格雷和计算机科学家西达尔特·苏里首次提出，它强调了这些系统所依赖的、隐形、被低估且报酬不足的劳动。同样，萨拉·罗伯茨教授对商业内容审核行业进行的广泛人种学研究，揭示了屏幕背后匿名且不为人知的工作者的劳动。

罗伯茨教授提出了我们在上一门课程中问过的类似问题，例如需要编纂、处理用户创建的某些内容被允许保留而其他内容被移除的流程。谁做出这些决定？如何做出？对谁有利？

通过用关键词对视频、图像或文本进行标注或标记，这些劳动者处理原始信息，并提高了AI系统的准确性。

本节课中，我们一起学习了生成式AI系统背后庞大而复杂的人类劳动生态。我们区分了备受瞩目的“显性”知识工作与常被忽视的“隐性”数据准备工作。理解“幽灵工作”的存在及其重要性，是负责任地开发、部署和评估生成式AI的关键一步，它提醒我们关注技术光环之下那些不可或缺的人类贡献与代价。

1：数据标注流程 👷‍♀️📝

在本节中，我们将探讨生成式AI系统背后一个常被忽视但至关重要的环节：数据标注流程。我们将了解为何即使在“无监督”学习系统中，人类劳动依然不可或缺，以及这一流程背后所涉及的伦理与劳工问题。

上一节我们介绍了生成式AI系统的局限性，本节中我们来看看为了弥补这些不足，业界采取了何种措施。

生成式AI等无监督机器学习模型，能够从未标注的数据中发现模式和关系，无需明确的指导或编码指令。

然而，这并不意味着人类的标注、反馈或审核工作会完全消失。

在每个主要产品的背后，仍有成千上万的工作人员，他们的工作使产品更安全、更可用。

以下是数据标注工作可能涵盖的范围：

自动驾驶领域：为视频标注骑行者、行人、移动设备、车辆或障碍物。
内容审核领域：为暴力内容、仇恨言论、创伤性内容进行数据注释。
情感分析领域：判断一段音频对话中的情感倾向。

如今，由于调查记者和举报人的工作，我们更多地了解到标注员和内容审核员所面临的非理想工作条件及其承受的心理创伤。

在全球范围内，这些工作者通常过度劳累、薪酬过低，并且由于持续接触令人不安的材料而长期承受压力。

AI系统的脆弱性也使得这种必要但不光鲜的人力劳动成为必需。尤其是在以语言为基础的应用中。尽管这些模型的训练数据集非常庞大，但它们仍可能遇到数据集中未包含的数据或词汇。

在之前的课程中，我们讨论了生成式AI系统在语言多样性方面的局限性。

当模型无法很好地泛化到其未训练过的查询或词汇时，人类可能不得不介入干预。几年前，我们在语音助手领域首次看到了此类干预的公开案例。

当时有大量工作人员参与监听用户在家中、学校或工作中可能使用的设备录音。公司为其行为辩护，称需要将音频片段交由人类转录，用于模型训练。

一家公司指出，其承包商仅听取了所有录音的 0.2%。

若按全球每日使用量推算，这仍意味着需要极其庞大的劳动力。

撇开所有隐私和数据保护问题不谈，此类行为揭示了系统的脆弱性，以及无法完全依赖自动化手段来标注数据或审核内容。

众包平台和供应商为AI公司提供所需的劳动力。一些人认为，这些公司在就业机会稀缺或没有机会的地方提供了工作可能性。

这些劳动力的来源甚至延伸至监狱、难民营或处于经济灾难中的国家。

另一些人则认为，这些做法是对劳动力和数据的剥削。

在大多数情况下，这些工作不附带劳工权利、工作保障，甚至在数据标注或审核方面，薪酬也往往达不到最低工资标准。

这类工作可能需要审核仇恨言论，甚至涉及虐待儿童、强奸、谋杀或其他暴力活动的描绘，这给劳动者带来了严重的心理创伤。

然而，这类工作通常不提供有意义的健康支持。

本节课中，我们一起学习了数据标注流程在生成式AI系统中的关键作用及其背后的复杂现实。我们了解到，尽管AI技术追求自动化，但人类的介入对于处理边缘案例、审核有害内容、提升模型表现仍然必不可少。然而，这一流程也暴露了严重的伦理问题，包括劳动者的心理健康、工作条件、薪酬公平性与数据隐私。认识到这些“隐形”劳动的存在及其代价，是迈向负责任AI的重要一步。

2：内容审核与人工反馈机制 📝

在本节课中，我们将要学习生成式AI系统中的内容审核与人工反馈机制。我们将探讨AI如何使内容审核工作复杂化，以及为什么在AI时代，人类劳动和监督仍然不可或缺。我们还将分析当前自动化审核技术的局限性，以及这些因素如何共同影响模型质量和社会。

概述：生成式AI带来的审核挑战

生成式AI系统为制造有害内容提供了更简便的途径，这使得社交媒体公司和内容审核员的工作变得更加复杂。

社交媒体审核领域的管理实践仍不透明，其商业决策的影响波及全球众多社群。尽管公司也利用AI系统进行自动标记、自动检测和自动过滤，但对人类劳动和监督的需求始终存在。

人工审核的劳动实践

以下是当前人工审核劳动实践的几个关键点：

低成本外包：此类劳动通常以每小时1至2美元的价格外包。
保密协议：数据标注员和内容审核员通常需要签署保密协议，并被警告不得谈论其工作内容。
孤立的工作环境：他们远程工作，在地理和物理上与同事及其共享经验隔绝。
信息不透明：这些工作者通常不了解他们所贡献产品的具体细节。他们不清楚自己的工作是在帮助提高监控或武器系统的精确度，还是在优化语言模型以更好地回应人类，亦或是在改进自动驾驶系统以避免碰撞和伤亡。

上一节我们介绍了生成式AI带来的审核挑战，本节中我们来看看生成式AI公司自身面临的类似问题。

生成式AI公司面临的审核与反馈需求

生成式AI公司在内容的多样性和规模方面，面临着与社交媒体公司相同的挑战。这些都是目前没有简单答案的技术难题。

然而，劳动实践是商业选择。目前，生成式AI的数据劳动选择与社交媒体公司并无不同。

如前所述，向模型提供人工反馈的需求同样巨大，这样系统才能区分相关和不相关的回应。生成式AI模型仍然需要人类来帮助比较、纠正和调整其回应，以实现更好的对齐。当然，对于受限使用场景，持续的审核和提示词响应也是必要的。

内容审核在AI生命周期中的角色

我们可以将罗伯茨教授对内容审核的解释，推及到生成式AI生命周期中的数据标注、反馈和审核任务。

换句话说，这些任务处于语言内容的本质、意图、后果和意义的交汇点。无论是正确理解用户的提示，还是向用户提供相关的回应，生成式AI在这个交汇点上的可靠表现都存在局限性。

生成式AI的技术局限性

生成式AI系统拥有长达数千个标记的上下文窗口。这意味着，在任何给定时间，它们在回应提示时可以考虑相当于数十页文本的内容。得益于更宽的上下文，AI系统可能正确解读提示的语境。

或者，其解读可能取决于训练数据集中相关内容的出现频率。

你可能会问，为什么我们不能用AI来自动化这些需要大量人力的任务？这是因为生成式AI系统的技术和根本局限性，都体现在这些任务中。

作为一个统计系统，生成式AI模型无法理解语境或细微差别，也无法独立推理经验。即使拥有长上下文窗口，随着对话的推进，模型也可能会忘记最初的指令，转而开始关注对话的后半部分。其回应在大部分情况下可能听起来连贯且符合语境。然而，如果你想使用讽刺、比喻性语言，如反讽、修辞或象征性引用，语言模型可能无法理解其深层含义或意图。或者，如果你沿着这些思路转换对话，模型可能无法捕捉到对话的转变。通过更多的提示，模型可能会纠正其后续回应。但如果未被发现，最初的不准确之处（即“幻觉”）可能会引发问题。

由于文化和语言差异，自动化手段可能无法完全有效地正确检测、识别和标注数据。

自动化审核的缺陷与影响

这个问题反过来会降低系统性能。在内容审核方面，它也可能导致非预期的审查和歧视。

自动化内容审核通过哈希匹配、AI分类器和过滤机制进行。这些机制使公司能够大规模、高效率地进行这项工作。然而，如前所述，这些方法并非没有错误。

例如，图像模型可能将医学检查或孕妇腹部的照片归类为本质上的露骨色情或明确裸露。而语言模型可能将使用“盲人”或“聋人”等词来表达自身身份的人标记为使用仇恨言论，或者将使用某些LGBTQ词汇叙述自身经历的人标记为“有毒”。

换句话说，这些算法可能将表达自我的人等同于从事仇恨言论的人，并拒绝回应他们的提示，甚至审查他们的参与。

使用大语言模型进行的自动情感分析和审查，在不同语言间也可能不一致。研究人员发现，当前模型在评估相同提示时存在差异。这项研究还表明，同一个模型可能对同一文本在不同语言中的评估结果不同。

在这项特定研究中，研究人员向这四个模型提供了20段不同的文本，描述了各种场景，反映了不同的情感。模型被要求用10种不同的语言处理相同的文本。虽然模型常常无法识别反讽或讽刺，但有些模型如果用德语、波兰语和俄语，会对同一场景做出更积极的评估；反之，如果用法语、意大利语和日语，则会做出更消极的评估。

模型会更新，训练数据也会随时间变化。然而，重要的是要承认这种不一致性可能持续存在，并理解这些差异背后的原因。

总结：劳动问题与模型质量的交织

总而言之，理解劳动问题和模型质量问题相互交织至关重要。

无论我们讨论的是系统开发还是已部署的系统，劳动和模型质量问题都相互影响。在宏观层面，这也可能引发关于社会和劳动力市场影响的进一步问题。

人们可能认为将数据工作外包给点击工人只是一个组织内部的成本决策。然而，大规模来看，这实际上可能随着时间的推移产生滚雪球效应。

本节课中我们一起学习了生成式AI时代内容审核的复杂性、人工反馈的必要性，以及自动化审核技术的局限性。我们认识到，劳动实践的选择与AI模型的质量紧密相连，共同塑造着技术的社会影响。理解这些交织的问题，是迈向负责任AI的重要一步。

3：劳动力市场预测模型 📊

在本节课中，我们将探讨生成式AI对全球劳动力市场的潜在影响，分析不同预测模型的结果，并理解影响这些预测的关键因素。

我们知道，随着AI和生成式AI工具的进一步成熟以及企业对这些产品的采用，新兴技术将对工作的未来产生持久影响。同样重要的是要注意，每个国家对生成式AI的应对将取决于其基础设施、文化和具体情境。

基础设施与文化的影响

上一节我们提到了技术发展的宏观趋势，本节中我们来看看具体的社会经济因素如何塑造AI的应用前景。

在基础设施方面，不同行业和国家以不同的速度和出于不同的用例采用这些技术。公共和私营部门都需要投资于基础设施和人才以适应AI。必要的资本投入、组织重组和技术成熟都需要时间。考虑到收入水平的差异，某些国家的采用速度可能更快。

文化差异也将影响未来的可能性。每个社会对知识和劳动的重视程度不同。一个文化可能珍视专业知识和质量，而另一个则可能优先考虑产量和效率。被认为更有价值的工作类型会影响每种文化中哪些任务更容易受到生成式AI的影响。

以下是影响AI采用的关键文化与社会因素：

人口结构：在老龄化社会，生成式AI可能被用来弥补劳动力短缺；或者，由于老龄人口比例较高，AI的采用可能不会那么快。
对技术的态度与信任：特定文化中对技术的态度和信任度，可能会阻止组织将某些任务委托给生成式AI。
具体情境：高风险领域或需要人际互动的职业，也可能有不同的适应水平。

例如，我们可能无法接受生成式AI从医生、建筑师、法官手中接管高风险任务。或者，你可能不希望教育完全由AI导师来进行。简而言之，全球各地将以不同的方式和速度感受到其影响。

劳动力市场预测的挑战

在过去的十年里，我们已经看到了许多关于劳动力市场未来的分析，预测机器人技术、业务流程自动化、AI以及最近的生成式AI的影响。尽管使用相似或有时相同的数据，这些预测在失业率估计值上差异巨大。

一项牛津互联网研究所的研究显示，估计值范围从近10%到超过一半的劳动力人口被认为面临技术性失业的风险。这表明，评估技术的影响是出了名的困难。

当然，鉴于其出现时间较短，预测影响存在困难并不意味着没有预测。尽管生成式AI是一项相对较新的技术，我们没有足够的数据来做出结论性的预测，但目前已有一些劳动力市场和经济价值预测可供参考。

现有预测模型概览

以下是当前一些主要的预测数据：

高估预测：一些预测认为，未来三年内超过40%的职业可能受到生成式AI影响，或估计有3亿个工作岗位面临自动化风险。
对比预测：另一些预测显示，在美国，因生成式AI而流失的工作岗位比例将低于受通用AI影响的比例。
经济价值预测：
- 埃森哲估计，到2038年，生成式AI将创造10.3万亿美元的额外经济价值。
- 麦肯锡估计，在他们分析的客户运营、市场营销与销售、软件工程和研发等用例中，生成式AI每年可增加相当于2.6万亿至4.4万亿美元的价值。
- 高盛预测，全球GDP将增加近7万亿美元，并在十年内将生产率提高1.5个百分点。

经济价值被预测为如此高的数字，是因为通用生成式AI被认为提供了创造新商业机会的工具和方法。无论你是用它来创建自己的内容，还是在现有的生成式AI模型上构建可以出售的产品，都存在着许多新的可能性。

生成式AI影响的广泛性

与之前对蓝领和制造业工作影响较大的技术相比，生成式AI有潜力在每个行业和几乎每个工作类别中实施。这意味着白领和粉领工作者现在也进入了视野。

生成式AI在白领工作者中的采用率更高，这也意味着未来这些工作者可能更多地感受到自动化或增强的影响。虽然推理、团队管理、危机应对、复杂决策、情商或任何需要人类伦理判断的任务超出了生成式AI的范围，但这项技术有望在不同行业中提高更多可量化任务的生产率。

态度调查数据

奥纬咨询定期在20个国家进行调查，收集关于生成式AI态度的数据。调查结果显示，虽然生成式AI对生产率的影响并非100%积极，但这已是一个充满希望的开端。

本节课中我们一起学习了生成式AI对劳动力市场影响的复杂性。我们看到，其影响程度和速度受到基础设施、文化、人口结构等多重因素的制约。尽管各种预测模型给出的数据差异很大，但普遍共识是生成式AI将创造巨大的经济价值，并广泛影响包括白领在内的各类职业。理解这些预测及其背后的假设，对于负责任地规划和应对未来的工作变革至关重要。

4：增强与重组替代战略

概述

在本节课中，我们将要学习如何评估生成式AI对工作岗位的影响。我们将了解到，分析AI的影响不应仅停留在职业名称层面，而应深入到具体任务层面。我们将探讨AI带来的两种主要影响：任务自动化（可能导致岗位被取代）和任务增强（帮助人类更好地工作），并分析这些影响在不同职业、性别和国家间的差异。

从职业到任务：分析AI影响的核心视角

当评估生成式AI对工作的影响时，在任务层面进行分析被认为更为有效。我们需要理解一项任务对生成式AI的暴露程度或敏感度，而不是仅仅关注某个特定的职业头衔。

一个人的工作可能涉及数十项任务，这些任务需要不同的技能组合。其中一些任务可能借助生成式AI更容易完成，而对另一些任务而言，这项技术在短期内可能并不相关。

在本系列课程的第一部分，我们详细讨论了生成式AI可以用于的不同类型的任务，无论是语言、音频、视频、图像还是编码任务。

国际劳工组织的分析

以下是国际劳工组织（ILO）一份报告的核心发现，该报告审查了数百种职业中的任务，并按职业类别识别了具有中高生成式AI暴露风险的任务。

根据分析，文职支持、服务和销售类岗位所包含的任务具有较高的暴露风险。
著名经济学家阿西莫格鲁和帕斯夸尔·雷斯特雷波认为，自动化导致的劳动力替代往往会造成劳动力在国民收入中所占份额的普遍下降。
然而，这种下降在一定程度上会被新任务的创造所抵消。
不过，由于劳动力市场的复杂性，这种重新配置可能缓慢且痛苦。这包括：
- 掌握新任务所需技能的时间。
- 寻找和获得一份新工作的时间。
- 以及教育机构对劳动力市场变化做出反应通常所需的时间。

完全替代 vs. 任务重组

上一节我们讨论了任务层面的分析，本节中我们来看看AI对工作的具体影响形式。

完全替代指的是特定工作中的人力因素被完全取代。这意味着技术拥有充分的能力和容量来取代现有模式，并且组织可以全面部署它。

让我们暂时搁置技术能力问题，同时也搁置这样一个事实：在某些情况下，风险和商业考量可能仍然要求企业对生成式AI的输出进行人工监督。

仍然存在可负担性、当地劳动力条件和社会决定因素等要素，这些都会影响劳动力的替代。从这个意义上说，你可能很少看到一个职业头衔被完全取代。

相反，更常见的情况是，企业利用生成式AI执行某些任务，并将节省下来的时间重新分配到其他工作上。国际劳工组织的分析也表明，文职类岗位更容易受到生成式AI带来的任务自动化和替代的影响。

影响的性别差异

值得注意的是，生成式AI带来的任务自动化和替代，预计对女性劳动者的影响将显著大于男性。

这是由于女性在此类工作岗位中占比较高。无论国家收入水平如何，女性受到的影响预计几乎是男性的两倍以上。

任务的增强效应

与替代效应相反，专业职业或技术人员、机器操作员的任务则更多地暴露于生成式AI的增强效应之下。

这些职业有更多任务可以让工作者使用生成式AI来帮助完成任务，为其工作内容提供信息，或以更高效的方式为他们提供信息访问途径。

同样，具有高增强潜力的工作岗位比例在女性中也高于男性。

宏观层面的国家差异

在宏观层面，高收入国家预计将受到生成式AI自动化潜力的显著更大影响。

无论工作岗位位于低收入还是高收入国家，也无论其具有高自动化潜力还是高增强潜力，女性劳动力预计受到的影响都显著大于男性。

影响差异的重要性

这种差异非常重要，因为性别鸿沟、工作机会获取以及性别工资差距已经是影响几乎所有国家的严重问题。

劳动者的感知与不易被替代的工作

在劳动者的感知方面，粉领工作者（通常指从事护理、服务等行业的女性）对生成式AI使其工作变得多余或任务被完全自动化的担忧较少。

同样，那些需要人际互动、细致判断、情商和危机管理的工作，例如医疗保健、教育、航空、执法等领域，都被认为不太容易导致人力被取代。

技术变革与劳动力市场的长期动态

然而，正如技术可以增强或取代某些任务一样，它们也会创造新的任务和新的工作岗位。

尽管在某些劳动力市场中，过渡期可能充满压力，但从长远来看，新创造的工作岗位可能会抵消变化带来的影响。经济学家大卫·奥特发现，如今60%的劳动者所从事的工作在1940年时并不存在。

劳动力市场的变化受到多种因素影响，范围从环境原因到投资、人口增长、供应链效率等等。然而，随着新技术的出现，社会总会找到新的方式来利用它们，和/或要求权力和财富分配的变革。

因此，重要的问题在于：技术变革是缩小还是扩大了社会经济的不平等与鸿沟？以及对于广大劳动者而言，工作质量是得到了改善还是恶化？换句话说，当技术在特定领域接管任务时，它是否会迫使人类劳动者转向技能要求更低、薪酬更差的工作？

未来工作岗位的创造与替代

自AI和生成式AI技术部署以来，最常被问到的问题之一就是：哪些工作岗位将被创造，哪些将被取代？

这是一个没有确定答案的问题。然而，展望到2027年，图表中标记为蓝色的大量工作岗位预计将被创造，而一些标记为紫色的岗位将被取代。列表的顶部和底部显示了作为当前全球就业数据一部分的双向变化比例。

与当前就业规模相比，一些工作岗位预计将以更高的比例增长。AI及机器学习相关工作岗位目前雇佣的人数不如其他类别多，因此其比例增长预计会更大。

然而，在同一份报告中，世界经济论坛实际上预测绝对数量的增长将集中在职业工作和教育领域。这些工作岗位恰好也是那些可以被增强，但较难被生成式AI系统自动化的工作。

总结

本节课中，我们一起学习了评估生成式AI对就业影响的更细致方法——即从任务层面而非职业头衔层面进行分析。我们探讨了AI带来的两种主要影响：任务自动化（可能导致替代）和任务增强，并认识到这些影响在不同性别、职业类型和国家间存在显著差异。我们了解到，虽然技术变革会替代部分任务，但也会创造新的机会，而关键在于社会如何应对这些变化，以确保技术进步能够促进更公平、更高质量的就业环境。

5：劳动力准备度评估 👥

在本节课中，我们将要学习企业在部署生成式AI时面临的关键挑战之一：劳动力准备度。我们将探讨技能差距的现状、其对企业和社会的影响，以及缩小这一差距的必要措施。

企业期望与技能差距

上一节我们介绍了企业期望从生成式AI中获得的各种收益。本节中我们来看看实现这些目标的主要障碍——人力因素。

我们之前已经指出，企业期望从生成式AI中获得的收益，范围从提高效率和生产力到降低总体成本以及加强与客户的关系。

我们也曾指出，任何重大部署的主要推动力将是人的因素。对于任何考虑开发或部署生成式AI系统的企业而言，对人力资本的投资都是必要的。

然而，调查显示，员工无法满足本地劳动力市场的技能需求。😔

或者说，企业无法吸引到他们所需数量的相关人才。

技能不匹配的现状与影响

换句话说，现有的劳动力市场未能跟上技术变革以及这些技术所需技能的发展。😔

企业发现，在当前人才供应短缺的情况下，很难满足自身的人才需求。

这迫使雇主转向内部技能建设活动，以弥补技能和人才缺口。更大的问题是，这些变革能否及时到位，以减少转型期的阵痛和持续时间。😔

雇主预计，近一半的员工技能将在五年内受到冲击。😔

他们还预测，到2027年，十分之六的员工将需要接受培训。虽然其中一部分人可能通过技能重塑准备好应对不断变化的劳动力市场挑战，但预测也显示，超过四分之一的劳动力将无法获得所需的培训。😔

供需失衡与社会影响

这样的差距意味着劳动力的供给与企业的需求并不重叠。这也可能产生连锁的社会影响。劳动力市场的技能差距不会自行解决。

这意味着，如果没有投资，企业将继续为同一小部分人才库而竞争。😔

这对于拥有必要技能的少数工人来说可能是一个有吸引力的提议，因为这会推高他们的收入。然而，对于整个行业或社会而言，这既不具吸引力，也非优选。

例如，新冠疫情向我们展示了，许多国家在医疗保健和教育领域的劳动力方面所处的岌岌可危的境地。😔

世界经济论坛领导人关于AI和生成式AI影响的一个关键信息是：对行业的投资若没有对人员的同等投资，就不可能成功。😔

解决方案：投资于员工

与其试图吸引同一小部分拥有必要技能的工人，公共和私营组织需要投资于他们的员工，以扩大劳动力市场。

事实上，领先的AI公司在如何处理员工技能重塑和投资方面展现出显著优势。他们倾向于投资以扩大AI人才库，并在技术性和非技术性岗位上培养员工与AI相关的技能。

技能不匹配可以通过教育系统和雇主双方来缩小。虽然教育系统正在缓慢转型，但雇主可以对技能不匹配和需求做出更灵活的反应。😔

培训需求与优先事项的协调

调查显示，各行业对AI培训的兴趣相似，但在不同年龄层存在差异。初级员工似乎对AI培训表现出更高的需求。😔

他们可能对机会更感兴奋，同时也更担忧AI自动化带来的影响。

然而，技能重塑也需要共同努力。😔

尽管几乎所有人都认同劳动力准备度的必要性以及技能重塑的需求，😔但在员工优先考虑的事项与雇主认为最重要的技能重塑领域之间，可能存在一些不匹配。

这并不是说这些差异是不可调和的，而是为了表明，当组织在考虑教育计划时，需要进行更广泛和全面的讨论，以避免员工的不满和失望。

总结

本节课中我们一起学习了企业在生成式AI时代面临的劳动力准备度挑战。我们认识到，当前劳动力市场的技能供给与企业需求之间存在显著差距，这阻碍了AI技术的有效部署并可能引发社会问题。解决这一问题的核心在于，企业和公共部门必须协同投资于员工的技能重塑与提升，而不仅仅是争夺现有的一小部分人才。成功的AI部署不仅需要技术投资，更需要与之匹配的对“人”的投资。

6：技能重塑与降维效应

在本节课中，我们将探讨生成式AI对工作技能的影响，分析雇主与员工在技能需求认知上的差异，并讨论如何通过负责任的协作与教育，实现技术与人类能力的互补与平衡。

雇主与员工的技能认知差异

多项调查显示，雇主对员工技能和态度的期望正趋于一致。雇主最看重的技能是分析性与创造性思维，其次是通用技术素养。

然而，当问题面向员工时，AI与大数据技能则被列为技能重塑需求的首位。

如果员工与管理层在战略和举措上的认知存在偏差，这种摩擦将侵蚀信任，并使得大规模技术应用变得更加困难。

理想的协作采纳模式

理想的场景是，在采纳生成式AI时实现员工与雇主的协作。这意味着，员工应有机会提出他们认为AI应用能产生最大影响的领域，并拥有表达其担忧的机制。

公共和私营组织需要确保AI采纳与整合的收益与负担是公平的，不会不成比例地落在特定员工群体身上。

负责任AI优先考虑包容性增长与可持续发展，将人类福祉、尊严和公平作为政策与投资决策的核心驱动力。

投资于教育与能力建设

虽然生成式AI可能对提升生产力有显著影响，但这不会自动实现。与企业长期成功息息相关的，是与员工共同确定最具影响力的组织用例，并投资于他们的教育与能力建设。

以下是实现这一目标的关键步骤：

提供可及且持续的学习机会：这为员工提供了促进自身职业发展、规划成长路径的手段。
采用自下而上的方法：企业不应采取自上而下的强制采纳方式，而应首先投入时间提升全员AI素养。
识别高价值应用场景：随后，再共同识别那些生成式AI能力能贡献最大的任务与业务流程。

一个投资于员工教育与能力建设的例子来自一家大型零售公司。该公司为其数千名员工推出了AI素养计划，旨在建立对AI、生成式AI工具以及负责任AI方法的基本理解。该计划的重点是提升和重塑员工技能，增强他们在公司内外的长期就业能力。完成培训后，这些员工被期望能以负责任的方式，提出新的AI应用用例。

组织政策与个人使用的鸿沟

调查一致显示，许多组织要么仍在决定是否采纳企业级AI，要么在制定AI组织政策方面滞后。

然而，员工已经在个人层面广泛使用生成式AI。一些调查指出，三分之二的员工在工作中使用生成式AI，而只有四分之一的受访者表示其所在组织有相关的AI政策。

其他全球调查（如来自Salesforce的）显示，员工强调工作中缺乏生成式AI培训和政策，并担忧生成式AI输出不准确、有偏见，以及会引入新的安全风险。

尽管如此，大多数员工目前正在使用或计划使用生成式AI。换句话说，对生成式AI的担忧并不一定会阻止员工在工作中使用它。事实上，一半在工作中使用过生成式AI的受访者承认，他们是在没有获得雇主正式批准的情况下使用的。

自下而上的采纳与自我投资

生成式AI的自下而上采纳，主要源于个人测试其自身活动和任务，即使组织可能没有采纳计划。

在组织层面的AI素养和技能计划被讨论和采纳的同时，个体学习者也在进行自我投资。尽管技能重塑和培训更多地被视为雇主的责任，但在线教育机会正日益成为免费技能提升的来源。

Coursera的调查显示，分析性/伦理思维、创造性思维以及AI与大数据技能是自主学习最关注的领域。

平衡技术与人：降维效应的风险

在讨论未来工作以及生成式AI对技能提升和重塑的影响时，我们也需要讨论随着时间推移可能出现的技能降维与技术过度依赖问题。

当人们过于重视生成式AI技能，而相对忽视人类在特定领域的专业知识或创造力时，会发生什么？考虑到生成式AI在可重复性、幻觉和对抗性攻击方面的固有风险，人类的专业知识仍然是必要的。

我们在之前的课程中详细讨论过，生成式AI模型可能提供不准确的结果，但模型却坚称其正确。我们也讨论了这些系统缺乏推理能力。我们仍然需要人类的创造力和领域知识来创建复杂的生成式AI提示词。我们仍然需要人类的知识和专长来理解生成输出的缺陷，并验证和核实这些产品的响应。

因此，我们如何找到正确的平衡点，利用技术来补充和增强人类技能，而非取代它们？

另一个对AI系统的担忧是自动化偏见。仅仅因为“人在回路中”，并不意味着风险会自动消失。始终存在一种风险，即员工自身变得过于依赖AI生成的结果，或者随着时间的推移，由于AI在其组织中的部署方式，员工变得能力被削弱，以至于不再关心或指出问题。

员工必须被赋予权力，能够表达他们的担忧，在必要时覆盖系统，并且能够轻松地提出新的AI想法和用例，只要这些应用是有益的。

本节课中，我们一起学习了雇主与员工在AI技能需求上的认知差异，探讨了通过协作、教育投资和负责任的部署来实现生成式AI成功整合的路径。我们认识到，虽然技术能极大提升效率，但人类的专业知识、批判性思维和创造力不可或缺。关键在于找到平衡，让AI成为增强人类能力的工具，同时通过持续学习和赋权，防范技能降维与过度依赖的风险，最终实现包容、可持续的发展。

7：数字鸿沟挑战

在本节课中，我们将探讨生成式人工智能（Generative AI）在普及和应用过程中面临的一个核心社会挑战——数字鸿沟。我们将分析这种不平等现象在不同维度上的表现，以及它如何影响技术红利的公平分配。

不平等的起点

我们知道，生成式AI将随着时间的推移，以不同的程度和规模影响劳动力市场和商业。

我们并非站在一个公平的起跑线上。无论是在全球范围内，还是在我们的社区内部，数字鸿沟已然存在。

我们是否都能平等地从生成式AI中获益，并缩小差距？看待这个问题有不同的角度。

经济预测的视角

一种方式是回顾经济预测。例如，首席经济学家的展望报告。需要提前说明的是，预测未来非常困难，我们应当以审慎的态度看待任何预测。

尽管经济学家们对生成式AI在商业中应用的轨迹看法不一，但他们预计影响最大的改进将出现在非重工业领域。例如：IT与通信、金融和专业服务、医疗保健服务，其次是零售、制造、工程、能源和物流。

同一批受访者更一致地认为，生成式AI带来的生产效率提升在高收入国家将显著得多。73%的首席经济学家预计，生成式AI不会对低收入经济体的就业产生积极的净影响。

这些预测是由各国基础设施准备程度的差异所驱动的。这些差异体现在数字基础设施、人力资本与劳动力市场政策、创新能力以及法规监管等方面。因此，我们有必要深入探讨造成数字鸿沟差异的一些因素。

数字鸿沟的多维度审视

我们可以从不同维度审视数字鸿沟。例如，我们可以跨越地理区域比较国家之间的差异。或者，在同一国家内部，跨越性别、年龄、种族和社会经济条件进行比较。我们可以询问特定群体对新兴技术底层基础设施的访问程度，或者其数字素养水平如何。

我们还可以审视不同类型的数字访问权限，例如：物理访问、经济承受能力、认知理解、制度支持以及文化政治环境。

基础设施：首要前提

无论是个人还是组织层面，要从生成式AI中获益，首先需要能够访问基本的基础设施。换句话说，就是宽带网络。

在全球范围内，非洲和南亚国家的人口互联网接入率最低。因此，这些地区采纳新兴技术承诺的可能性也更低。事实上，非洲的互联网普及率大约在40%左右，而欧洲则接近90%。

这种差距严重影响了组织将生成式AI系统整合到其业务中的能力，也限制了个体试验这些技术或获取技能培养机会的能力。

低收入国家薄弱的关键基础设施和低互联网普及率，也推高了宽带连接的费用。虽然高收入国家的一些人或组织可能对自己使用的数据量毫不在意，但在世界其他地区，这笔费用可能非常高昂。

个体可能无法以创造自主创业的方式使用这些新兴技术。

代际与性别差异

有人可能认为数字鸿沟会随着时间的推移和新一代的成长而缩小。全球劳动力调查指出，年轻人对就业转型具有更高的灵活性，而年长工人则可能在再就业时面临技能重塑、流动性和适应新技术等多重挑战。

然而，这种思路的前提是基本基础设施首先必须是可访问的。

在缩小未来代际数字鸿沟的能力方面，值得注意的是国际电信联盟和联合国儿童基金会的报告与警告：全球有21亿3至24岁的学龄儿童和青年在家中无法访问互联网。目前亟需投资来弥合这一鸿沟，它正阻碍儿童和年轻人获取在线数字学习资源。前联合国儿童基金会执行主任称此为“数字峡谷”，而非简单的“差距”。

在性别方面，全球近一半的女性人口（约43%）仍无法使用互联网，而男性的这一比例为38%。

访问权限的差异意味着，如果没有结构性干预，这道峡谷将会加宽。

AI行业内部的差距

你可能会问，在AI行业内部，特别是在劳动力构成方面，情况又如何？情况同样不容乐观。

虽然女性在可能被生成式AI取代的工作中占比较高，但她们在开发AI解决方案的职位中代表性不足。全球范围内，女性仅占AI人才的30%。在机器学习相关工作中，这一比例显著下降到10%至15%，而在不同国家的AI研究出版物作者中，女性比例甚至更低。

我们需要AI产品反映其潜在用户的多样性，以便这些产品能为每个人提供更好的性能。

性别差距也带来更广泛的商业和社会影响。AI和生成式AI影响所有行业，然而，在这些行业中创造的解决方案、知识工作、雇佣实践，可能会因劳动力中如此巨大的性别差异而严重扭曲。

例如，我们在医疗、教育、关键基础设施等领域所设想、优先考虑、投资和部署的解决方案，可能会看起来截然不同。

当从种族或民族代表性的角度剖析数据时，情况甚至更糟。开发AI的少数族裔员工平均比例低至25%，而一些公司从事AI解决方案工作的少数族裔员工数为零。

尽管基于新冠疫情前强制披露的数据，调查报道中心对硅谷公司员工构成的分析显示，领先AI公司的人员代表性情况依然令人震惊。

或者说，是谁没有被代表。预测还显示，如果当前的结构性问题和长期存在的财富生成与分配模式得不到纠正，生成式AI可能会显著加剧种族财富差距。

例如，在美国，预测显示到2045年，生成式AI创造的财富在种族间的差异分配，可能使美国家庭中黑人与白人之间的财富差距每年扩大430亿美元。

这种预测可以在存在现有社会经济不平等的不同人口群体或国家中进行模拟。

社会不平等导致对这些技术的访问机会更少或更低，进而导致获取财富的机会减少，加剧不平等，这可能形成一个难以打破的恶性循环。

总结与未来展望

生成式AI有可能让工作变得更好。然而，如果没有必要的投资，不平等的参与和收益可能导致累积性的劣势。

作为总结，我想回到我开始这个模块时提到的观点：鉴于这项技术成为主流的时间尚短，评估生成式AI及其对工作和职场的影响是出了名的困难。

没有任何单一因素将决定这项技术的影响，而是一整套因素共同作用。这些因素包括：工作任务面临自动化或增强的可能性、我们社会中现有的鸿沟、政府政策、组织投资和技能重塑的速度、我们如何整体上评价劳动价值等等。

同样，行业决策、政府政策与要求、版权裁决、开源运动、公共数据和计算基础设施，以及再分配政策，都将决定生成式AI在经济中被采纳的速度和广度，无论地域如何。

为了制定更好的企业和政府政策，对增强和自动化两种场景进行不同的分析和模拟非常重要。

然而，同样重要的是提醒我们自己，工作的未来并非预先注定，也不必是一个注定失败的场景。生成式AI和数字技术的进步蕴含着我们可以实现的希望。

工作的未来取决于每个社会所珍视的价值。我们如何投资于人、人的尊严和基本权利，工作的未来应当由人类有意识的决策来塑造。

本节课中，我们一起学习了生成式AI发展中的数字鸿沟挑战。我们探讨了这种不平等在地理、基础设施、代际、性别和种族等多个维度的表现，并认识到如果不加以干预，技术红利的不平等分配可能加剧现有的社会差距。最后，我们明确了未来的工作形态并非由技术单方面决定，而是可以通过有意识的政策、投资和价值选择来共同塑造。

posted @ 2026-03-26 13:08 布客飞龙IV 阅读(25) 评论(0) 收藏举报

刷新页面返回顶部

龙哥盟