安全和负责任地部署人工智能

安全和负责任地部署人工智能

原文：towardsdatascience.com/deploying-ai-safely-and-responsibly/

“在我们将人工智能用于生产之前，人工智能必须是可靠的。”这已经成为一个真理。然而，在实践中，当我们开发和部署基于人工智能的行业解决方案时，可靠性往往被视为一个时髦词汇。高准确性受到赞扬，炫目的演示赢得头条，治理被视为事后之想。也就是说，直到人工智能的失误带来了负面公关或诉讼使公司损失数百万。聪明的商业领袖会提前考虑，在问题出现之前，认真对待人工智能的安全、安全和可靠性。

在 IEEE 研讨会超越准确性：在生产中构建可靠的人工智能上，五位在人工智能开发生命周期各个阶段的资深从业者分享了他们在现场的经验教训，关于如何使人工智能可靠，同时部署有价值的解决方案，推动业务指标。在这篇文章中，四位专家小组成员各自解决了一个关于人工智能可靠性的常见误区，并解释了你需要了解的内容，以确保你的人工智能项目成为一个可靠、安全的成功。

误区 1：“如果模型准确，它就是可靠的。”

作者：Anusha Dwivedula，产品总监，晨星分析公司，AI 2030 全球研究员

“准确性只是中间层；没有坚实的基础和透明度，可靠性就会崩溃。”

你会信任走进一个承诺 100%准确性的美丽摩天大楼电梯吗？它每次都能把你带到顶层，但其安全标准却模糊不清，认证标签已经过期多年。准确性是不可或缺的，但它本身并不能保证安全，更重要的是，可靠性。

我们在人工智能系统中也看到了相同的情况。信用评分算法提供了高预测准确性，同时强化了系统性偏见。推荐引擎优化了参与度，但缺乏弹性检查，放大了错误信息。准确性看起来令人印象深刻，但可靠性崩溃了。

因此，准确性只是我所说的“信任三明治框架”中的一层，这个框架建立在我在一篇IEEE 关于多层质量控制论文中探讨的想法之上。以下各层确保信任融入你人工智能模型的每个方面：

  • 基础：可扩展的数据处理 – 正如电梯需要坚固的电缆和滑轮来安全地承载重量一样，人工智能系统依赖于可扩展、可靠的数据管道。如完整性（关键属性的覆盖范围）、时效性（数据新鲜度）和处理可靠性（故障率、吞吐量）等指标确保基础设施能够在大规模上维持信任。

  • 中间：AI 逻辑 + 性能指标 – 准确性属于这里，但它必须与公平性（例如，不同影响比率）、鲁棒性（对对抗性变化的敏感性）和弹性（从管道故障中恢复的平均时间）相补充。

  • 顶部：可解释性 + 透明度 – 发布的检查证书是说服人们乘坐的原因。同样，可解释性指标，如使用 SHAP 或 LIME 解释的预测百分比，使 AI 输出对用户更加可理解和可信。当人类参与其中：验证模型输出并将他们的反馈反馈到中间层时，信任会进一步加深，随着时间的推移，性能和弹性得到加强。

在一篇独立的IEEE 出版物，数据信任分数中，我将这种思考形式化为一个综合度量，它整合了准确性、及时性、公平性、透明度和弹性。一个模型可能达到 92%的准确性，但如果其及时性只有 65%，公平性为 70%，信任分数揭示了更全面的故事。

准确性可以在输入分布漂移的情况下保持稳定。漂移指标，如人口稳定性指数、KL 散度或置信区间的变化，充当早期预警信号，就像在发生故障之前检测到电梯电缆磨损和损坏的传感器一样。

关键要点：信任是一种设计选择，必须集成到 AI 系统的所有组件中。通过测量信任指标并将它们透明化给最终用户，可信度提高了 AI 系统的采用率。上述框架和指标为您提供了实现分层信任架构的实用方法。

误区 2：“可观察性只是一个监控仪表盘。”

作者：Shane Murray，Versant Media 数字平台分析高级副总裁

“仪表盘不能防止故障；连接的可见性和响应才能做到。”

人们很容易将可观察性仅仅视为一个监控仪表盘——几个图表显示模型准确性、延迟或使用情况。但在生产 AI 中，尤其是在基于专有数据、大型语言模型和检索系统的复杂管道中，这种观点是危险地狭隘的。

现实世界的故障模式很少在仪表盘上整洁地展现出来。上游的架构变更可能会无声地破坏特征集。管道延迟可能会将过时信息传播到检索索引中，导致聊天机器人信息不准确。模型或提示更新通常会导致代理行为出现意外的变化，导致一夜之间输出质量下降。评估可能从整体上看“健康”，但在特定情境下仍然会产生幻觉。同时，仪表盘继续显示绿色，直到客户第一次注意到问题。

正因如此，可观察性必须扩展到整个系统：数据、系统、代码和模型。故障可能起源于这些层中的任何一层，如果没有连接的可见性，你可能会追逐症状而不是识别根本原因。在人工智能系统中，维持信任与确保输入和管道的可靠性一样重要，也关乎监控模型性能。

同样重要的是，可观察性不仅仅是关于你追踪的内容，还关乎你的响应方式。这门学科与站点可靠性工程非常相似：检测、分类、解决和衡量。自动监控和异常检测对于速度至关重要，但仅仅自动化并不能救你。运营实践——事件剧本、人工介入的分类和值班轮换——是将检测转化为解决方案的粘合剂。通过衡量和学习每次事件，团队使系统更具弹性，而不是重复同样的失败。

关键要点：人工智能中的可观察性不仅仅是创建视觉上吸引人的图表；它关乎发展组织肌肉，以持续检测、诊断和解决整个数据与人工智能堆栈中的故障。这种自动化与纪律性操作的组合确保了质量、可靠性和最终的可信度。

误区 3：“治理会减缓创新”

作者：Vrushali Channapattan，数据与 AI 工程总监

“安全的游乐场和铺就的道路使负责任的人工智能采用更快，而不是更慢。”

有效的治理，常被误解为进步的刹车，但实际上它充当着通往更快创新的斜坡，同时确保信任成为负责任人工智能采用的护航者。

安全的实验空间：实验是创新的燃料。有效的治理策略促进创建安全的实验环境，以探索人工智能能力。例如，创建结构化的实验区域，如专门的 AI 沙盒的内部黑客马拉松，可以建立信心，因为必要的监督可以在受控条件下维持。

通过铺就的道路建立信任：促进负责任创新的最有效方式之一是启用预先批准和标准化的工作流程、工具和库。这些“铺就的道路”经过治理团队的审查，并内置了隐私、安全和合规的护栏。这种方法使团队能够专注于构建创新能力，而不是与安全和合规的模糊性和摩擦作斗争。

鼓励透明度和一致性：透明度对于建立信任至关重要，而有效的沟通是实现这一目标的基础。将法律、安全、隐私、人权、可持续性、产品和工程等利益相关者早期且经常性地聚集在一起，就负责任的 AI 采用的内部分析达成一致，有助于理解约束背后的“是什么”和“为什么”。AI 风险需要像数据隐私或云安全一样被严肃对待。特别是生成式 AI 技术引入了新的攻击面和滥用渠道，因此，正如 IEEE 论文AI、网络犯罪与社会：缩小威胁与防御之间的差距所讨论的，积极的风险评估及其缓解是必不可少的。

关键要点：铺好的道路和持续的沟通将治理观念从障碍转变为跑道。它们赋予团队经过验证的构建模块，使他们能够更快地迭代构建，同时仍然遵守治理考虑因素。这种方法在降低风险和摩擦的同时促进创新，允许安全地将重点从“我们能否做到？”转移到“我们应该做到吗？”的问题上。

误区 4：“负责任的 AI 只是关于合规。”

作者：Stephanie Kirmer，DataGrail 员工机器学习工程师

“道德 AI 是每个人的责任，而不仅仅是工程师的责任。”

开发用于生产的 AI 具有挑战性和激动人心，因为我们正努力使用复杂的机器学习策略来解决商业问题。然而，将一个可行的解决方案转变为负责任和道德的解决方案需要更多的工作。

一项技术是否能够立即完成我们面前的工作并不是唯一的考虑因素——这一点对 AI 或任何其他事物都适用。我们对我们所做的事情的外部性负责。这可能包括宏观层面的重大社会影响，也可能包括组织层面的影响或个人层面的影响。如果我们部署了一个未经同意使用客户数据的模型，或者有可能无意中泄露 PII，我们就会创造可能并确实导致个人伤害、法律和财务责任以及潜在的品牌声誉破坏的风险。

我们可以从法律和监管框架中获得有用的指导，例如 GDPR、CCPA 和欧盟人工智能法案，但我们不能依赖立法者为我们做所有思考。法律框架不能包括所有可能出现问题的可能场景，通常需要解释并应用于技术现实。例如，模型不应使用受保护的特征来做出关于人们机会或资源获取的决定。如果你被要求构建一个评估消费者数据的模型，你需要弄清楚如何（或是否！）构建该模型，以确保受保护的特征不会驱动决策。也许你需要整理输入数据，或者你需要对输出应用严格的保障措施。你可能还需要通知最终用户这一原则，并教育他们如何识别歧视性输出，以防数据出现意外。

但这不仅仅是工程师的责任。所有参与人工智能开发生命周期的人员，如产品、信息安全法和法律，都应该充分了解人工智能产品的实际能力，并知道错误或不受欢迎的后果始终是风险。通常，模型会按照它们被设计的那样做，但可能会产生负面的意外副作用，因为它们在训练过程中没有被考虑到。这就是为什么将来自组织内部不同视角和背景的人纳入规划和架构设计是如此至关重要的。不同的观点可以捕捉盲点，防止意外风险，尤其是那些代表性不足的群体或边缘化社区的风险，进入生产。

关键要点： 伦理人工智能开发是所有参与人工智能解决方案生产人员的责任。模型不必失败就会产生不受欢迎的副作用，因此在开发过程中应咨询多样化的观点。

结束语

可信赖的人工智能不是可以添加到最后的单一功能；它是一种分层实践。从构建可靠的数据管道到民主化可观察性，再到嵌入治理和为责任而设计，生命周期中的每一步都塑造了用户和利益相关者可以依赖您的系统的程度。

本文中的专家们一致认为：信任不是自动的。它是通过指标、框架和组织实践来构建的，这些指标、框架和组织实践使人工智能更安全、更有弹性。

随着生成式和代理式人工智能系统嵌入到关键工作流程中，炒作与持续采用之间的区别将归结为一个问题：人们是否足够信任系统，以至于可以依赖它？

答案不在于将模型推向 99%的准确率，而在于建立一个文化、流程和保障措施，确保人工智能系统从一开始就是透明的、有弹性的和负责任的。

进一步阅读

关于作者

Vrushali Channapattan 是 Okta 的工程总监，在那里她领导数据与 AI 项目，重点放在负责任的 AI 上。拥有超过 20 年的经验，她塑造了大规模数据系统，并作为 Apache Hadoop 的 Committer 为开源项目做出了贡献。在 Okta 之前，她在 Twitter 工作了近十年，帮助推动其从初创公司发展到上市公司。Vrushali 在东北大学获得了计算机系统工程硕士学位，并在全球会议上发表过演讲。她是 AI、身份和分布式系统的专利持有者，并在 IEEE 期刊和行业博客上发表了作品。

Anusha Dwivedula 是 Morningstar 分析小组的产品总监。她领导了 Morningstar 集中数据平台的设计和推广，该平台统一了企业内的管道、分析和可观察性，以支持大规模的 AI 准备。她的工作在风险高、受监管的环境中连接了云基础设施、数据治理和 AI 产品开发。Anusha 拥有丰富的领导全球团队和复杂的现代化项目经验，专注于构建可信、可解释和可扩展的数据系统。她经常在责任 AI、数据质量和可观察性等主题上发表演讲，并在超过 15 个具有重大影响力的会议上发表过演讲。她还是 AI 2030 全球研究员，参与具有重大影响的项目，共同创建全球 AI 框架，并在行业和政策中推广道德 AI 的采用。更多信息请访问anushadwivedula.com/。

Stephanie Kirmer 是一名员工级机器学习工程师

在 DataGrail 公司，该公司致力于帮助企业在

保护客户数据隐私并最小化风险。她

几乎有十年时间在构建机器学习

行业中的解决方案，在进入数据科学领域之前，她

曾是社会学和高等教育学的兼职教授

在 DePaul 大学担任管理员。她带来了独特的混合

社会科学视角和深入的技术和商业

经验，能够以易于理解的方式撰写和演讲关于当今

围绕人工智能和机器学习所面临的挑战，并且是

在 Towards Data Science 的撰稿人。更多信息请访问www.stephaniekirmer.com。

肖恩·默里是 Versant 公司的数字平台分析高级副总裁，在那里他领导着数字平台上的分析和研究。此前，他曾在蒙特卡洛担任现场首席技术官，为数据和技术领导者提供关于构建可靠、值得信赖的数据和 AI 系统的建议，并在《纽约时报》担任数据与洞察高级副总裁，领导跨数据科学、分析和平台工程的多职能团队。在过去的二十年里，肖恩一直在数据、技术和数字产品的交汇处工作，应用了在实验、可观察性和机器学习方面的深厚专业知识。作为 InvestInData 的创始成员，他还支持塑造数据与 AI 基础设施未来的早期初创公司。

posted @ 2026-03-27 10:08  布客飞龙II  阅读(2)  评论(0)    收藏  举报