为什么-AI-项目会失败
为什么 AI 项目会失败
每个人都对 AI 都充满热情：董事会想要它，高管们都在推销它，开发者们也热爱这项技术。但这里有一个非常残酷的事实：AI 项目不仅会失败，而且失败得更惨。为什么？因为它们继承了常规软件项目的所有混乱，再加上一层大多数组织尚未准备好应对的概率不确定性。
当你运行一个 AI 流程时，其中涉及一定程度的随机性，这意味着它可能不会每次都产生相同的结果。这为一些组织尚未准备好的复杂度增加了额外的一层。
如果你曾在任何 IT 项目中工作过，你将记得最常见的问题：不明确的需求、范围蔓延、孤岛或激励不匹配。
对于 AI 项目，你可以添加到列表中：“我们甚至不确定这个事物每次都能以相同的方式工作”，你就有了失败的完美风暴。
在这篇博客文章中，我将分享过去五年在 DareData 遇到的一些最常见的失败案例，以及你如何在 AI 项目中避免这些常见的陷阱。
1. 没有明确的成功指标（或太多）
如果你问，“这个项目的成功是什么样的？”然后得到十个不同的答案，或者更糟糕的是，一个耸肩，那就是一个问题。
没有明确成功指标的机器学习项目只是昂贵的尝试。不，"使流程更智能"不是一个指标。
我在 AI 项目中看到的最常见的错误之一是在尝试优化准确性（或其他技术指标）的同时，试图优化成本（例如，在基础设施中降低成本）。在项目的某个阶段，你可能需要增加成本，无论是通过获取更多数据、使用更强大的机器还是其他原因——这必须做到以提高模型性能。这显然不是成本优化的例子。
事实上，你通常需要一个（也许两个）与业务影响紧密相关的关键指标。如果你有多个成功指标，确保它们之间有优先级。
如何避免：
-
在项目开始之前，设定一个清晰的成功指标层级，并得到所有相关利益相关者的同意
-
如果利益相关者无法就上述层级达成一致，不要开始项目。
2. 太多厨师
通常，太多的成功指标都与“太多厨师”问题相关联。
AI 项目吸引了利益相关者，这很酷！这仅仅表明人们对与这些技术合作感兴趣。
但是，市场营销想要的是一件事，产品想要的是另一件事，工程想要的是完全不同的事情，而领导层只想展示给投资者看或向竞争对手炫耀。
理想情况下，你应该在项目早期就识别和绘制关键利益相关者。大多数成功的项目都有一个或两个倡导型利益相关者，他们是深深投入结果并能够推动项目向前发展的人。
如果有更多的情况，可能会导致：
-
冲突的优先级或
-
责任稀释
而这些场景都不是积极的。
没有一个强大的单一所有者或决策者，项目就会变成一个弗兰肯斯坦怪物，在最后一刻的请求或与主要目标无关的功能上拼凑在一起。
如何避免：
-
绘制相关决策利益相关者和用户。
-
提名一个有能力的项目负责人，他/她能够在项目决策上做出最终决定。
-
绘制组织的内部政治格局及其对项目决策权可能产生的影响。
3. 停留在笔记本的幻想中
一个 Python 笔记本不是一个产品。它是一个研究/教育工具。
在某人的电脑上运行的 Jupyter 原型不是一个生产级别的架构。你可以独立构建一个美丽的模型，但如果没有人知道如何部署它，那么你构建的就是货架上的产品。
当模型成为更大系统的一部分时，才能真正产生价值：经过测试、部署、监控、更新。
在 MLops 框架下构建并与现有公司系统集成的模型对于取得成功结果是强制性的。这在企业中尤为重要，因为它们有成吨的遗留系统，具有不同的功能和特性。
如何避免：
-
确保你有在组织中正确部署的工程能力。
-
从一开始就涉及 IT 部门（但不要让他们成为阻碍者）。
4. 期望混乱（AI 项目总是“失败”）
大多数 AI 模型在某种程度上都会“错误”。这就是为什么这些模型是概率性的。但如果利益相关者期望魔法（例如，100%的准确性，实时性能，即时回报率），每个合理的模型都会让人感到失望。
尽管大多数 AI 模型的当前“对话”方面似乎提高了用户对 AI 的信心（如果通过文本传递错误信息，人们似乎可以接受 😊），但模型性能的过度期望是 AI 项目失败的重要原因。
开发这些系统的公司共享责任。明确沟通所有 AI 模型固有的局限性和误差范围至关重要。特别是，重要的是要沟通AI 能做什么，它不能做什么，以及成功实际上意味着什么。没有这些，感知总是失败，即使技术上可能是胜利。
如何避免：
-
不要过度夸大 AI 的能力
-
早期设定现实的期望。
-
共同定义成功。 与利益相关者就特定情境中的“足够好”达成一致。
-
谨慎使用基准。 强调比较改进（例如，“比当前流程提高 20%”）而不是绝对指标。
-
教育非技术团队。 帮助决策者理解人工智能的本质——它的优势、局限性和它增加价值的地方。
5. 人工智能锤子，面对每一颗钉子
只因为你可以在某件事上应用人工智能，并不意味着你应该这样做。有些团队试图将机器学习强加到每个产品特性上，即使基于规则的系统或简单的启发式方法会更快、更便宜、更好。而且这可能会让用户更有信心。
如果你通过在不需要的地方堆叠人工智能而使事情过于复杂，你可能会贡献一个臃肿、脆弱的系统，这个系统更难维护、更难解释，最终无法达到预期。更糟糕的是，当用户不理解或不信任由人工智能驱动的决策时，你可能会损害产品的信任度。
如何避免：
-
从最简单的解决方案开始。 如果基于规则的系统有效，就使用它。人工智能应该是一个假设，而不是默认选项。
-
优先考虑可解释性。 简单的系统通常更透明，这可以成为一个特点。
-
验证人工智能的价值。 问问：添加人工智能是否显著提高了用户的成果？
-
设计可维护性。 每个新模型都会增加复杂性。确保你有维护解决方案所需的资源。
最后的想法
人工智能项目不仅仅是另一种 IT 口味，它们是完全不同的生物。它们将软件工程与统计学、人类行为和组织动态相结合。这就是为什么它们往往比传统技术项目失败得更惨烈。
如果有一个要点，那就是：人工智能的成功很少是关于算法的。 它关乎清晰度、一致性和执行力。你需要知道你的目标是什么，谁负责，成功是什么样子，以及如何从令人兴奋的演示过渡到真正在野外运行并产生价值的东西。
因此，在你开始构建之前，先深呼吸一下。提出困难的问题。我们真的需要在这里使用人工智能吗？成功是什么样子？谁将做出最终决定？我们将如何衡量影响？
早期获得这些答案并不能保证成功，但它将使失败的可能性大大降低。
如果你知道其他导致人工智能项目失败的原因，请告诉我！如果你想讨论这些话题，请随时通过电子邮件联系 @ [email protected]
浙公网安备 33010602011771号