在-AI-项目中设定期望的技巧
在 AI 项目中设定期望的技巧
原文：
towardsdatascience.com/tips-for-setting-expectations-in-ai-projects/
当与 AI 项目合作时，不确定性不仅仅是一个副作用，它可能使整个项目成功或失败。
受 AI 项目影响的大多数人并不完全了解 AI 是如何工作的，或者错误不仅是不可避免的，而且是过程的一个自然且重要的部分。如果你以前参与过 AI 项目，你可能已经看到当期望没有与利益相关者明确设定时，事情可以很快出错。
在这篇文章中，我将分享实用的技巧，帮助你管理期望，并确保你的下一个 AI 项目按计划进行，特别是在 B2B（企业对企业）空间的项目中。
（很少）承诺性能
当你还不了解数据、环境，甚至项目的确切目标时，提前承诺性能是确保失败的最佳方式。
你很可能会错过目标，或者更糟的是，被激励使用可疑的统计技巧来使结果看起来比实际情况更好。
更好的方法是，在看到数据并深入探讨问题之后，仅讨论性能期望。在 DareData，我们的一项关键实践是在项目中添加一个“阶段 0”。这个早期阶段允许我们探索可能的方向，评估可行性，并在客户正式批准项目之前建立潜在的基线。
我唯一推荐从一开始就承诺性能目标的情况是：
-
你对现有数据有完全的信心，并且对它们有深入的了解。
-
你以前已经成功解决了完全相同的问题多次。
利益相关者映射
另一个重要的步骤是从一开始就确定谁会对你的项目感兴趣。你有多位利益相关者吗？他们是商业和技术背景的混合体？
每个团队都会有不同的优先级、观点和成功衡量标准。你的任务是确保你为他们提供有价值的成果。
这就是利益相关者映射变得至关重要的地方。你需要了解他们的目标、担忧和期望，并在项目的不同维度中调整你的沟通和决策。
商业利益相关者可能最关心投资回报率和运营影响，而技术利益相关者将关注数据质量、基础设施和可扩展性。如果任何一方觉得他们的需求没有得到满足，你将很难推出你的产品或解决方案。
我职业生涯中的一个例子是一个客户需要一个与产品扫描应用程序的集成项目。从一开始，这个集成并没有保证，我们也不知道实施起来会多么容易。我们决定尽早将应用程序的开发者引入对话。那时我们得知他们即将推出我们计划在两周后构建的 exactly feature。这为客户节省了大量时间和金钱，并让团队免于创建永远不会被使用的产品的挫败感。
早期沟通 AI 的概率性质
AI 本质上具有概率性，这是与传统软件工程的根本区别。在大多数情况下，利益相关者不习惯在这种不确定性中工作。为了帮助，除非我们受过这方面的训练，否则人类在思考概率方面并不擅长（这就是为什么彩票仍然卖得很好）。
传统软件工程与 AI 对比 – 图片由作者提供
这就是为什么从一开始就沟通 AI 项目的概率性质至关重要。如果利益相关者期望确定性的、100%一致的结果，当现实与这种愿景不符时，他们很快就会失去信任。
今天，这比以往任何时候都更容易说明。生成式 AI 提供了清晰、易懂的例子：即使你给出完全相同的输入，输出也很少是相同的。尽早进行演示，并在第一次会议中就传达这一点。不要假设利益相关者理解 AI 是如何工作的。
设定分阶段里程碑
从开始就设定分阶段的里程碑。 从第一天起，在项目中定义清晰的检查点，让利益相关者可以评估进度并做出是否继续的决定。这不仅能够建立信心，还能确保在整个过程中期望是一致的。
对于每个里程碑，建立一致的沟通常规，包括报告、总结电子邮件或简短的指导会议。目标是让每个人了解进度、风险和下一步行动。
记住：利益相关者宁愿早点听到坏消息，也不愿被蒙在鼓里。
项目阶段 – 图片由作者提供
避免技术指标，转向业务影响
仅凭技术指标很少能完全讲述 当涉及到最重要的方面：业务影响时。
以准确性为例。如果你的模型得分为 60%，这是好是坏？在纸上，它可能看起来很糟糕。但假设每个真正的阳性预测都能为组织节省大量资金，而假阳性几乎没有或没有成本呢？突然，那个同样的 60%看起来非常吸引人。
业务利益相关者往往过分强调技术指标，因为这对他们来说更容易理解，这可能导致对成功或失败的错误认识。实际上，传达业务价值要更有力，也更易于理解。
在可能的情况下，将您的报告重点放在业务影响上，将技术指标留给数据科学团队。
我们公司在项目中做的一个例子：我们构建了一个算法来检测设备故障。每次正确识别的故障为公司节省了超过 500 欧元，每台工厂设备。然而，每次误报都导致生产线停工超过两分钟，平均成本约为 300 欧元。由于误报的成本很高，我们专注于优化精确度而不是提高准确度或召回率。这样，我们避免了不必要的停机，同时仍然捕捉到最有价值的故障。
商业利益相关者往往过分强调技术指标，因为它们更容易理解，这可能导致对成功或失败的错误认知。
展示可解释性的场景
更精确的模型并不总是更可解释的，这是利益相关者从第一天起就需要理解的一个权衡。
通常，给我们带来最高性能的技术（如复杂的集成方法或深度学习）也是最难解释为什么做出特定预测的原因。另一方面，简单的模型可能更容易解释，但可能会牺牲准确性。
这种权衡本身并不一定是好是坏，它应该是在项目目标背景下做出的决定。例如：
-
在高度监管的行业（如金融、医疗保健）中，可解释性可能比挤出最后一点准确性更有价值。
-
在其他行业，例如在推广产品时，性能的提升可能会带来如此显著的商业收益，以至于降低可解释性是一个可接受的妥协。
不要回避早期提出这一点。在您承诺一条路径之前，您需要知道每个人都同意准确性和透明度之间的平衡。
从第一天起就考虑部署。
AI 模型是用于部署的。从一开始，您就应该考虑部署来设计和开发它们。
最终目标不仅仅是创建一个在实验室中令人印象深刻的模型，而是确保它在现实世界中可靠地工作，可扩展，并集成到组织的业务流程中。
自问：如果“世界上最好的”AI 模型无法部署、扩展或维护，它的用途是什么？ 没有部署，您的项目只是一个昂贵的概念验证，没有持久的影响。
早期考虑部署需求（基础设施、数据管道、监控、再训练流程）可以确保您的 AI 解决方案可使用、可维护且具有影响力。您的利益相关者会感谢您。
(Bonus) 在生成式人工智能（GenAI）中，不要回避谈论成本
使用生成式人工智能（GenAI）解决问题可以提供更高的准确性，但通常这也伴随着成本。
要达到许多商业用户想象中的性能水平，例如 ChatGPT 的体验，您可能需要：
-
在单个工作流程中多次调用大型语言模型（LLM）。
-
实施使用多个步骤和推理链来达到更好答案的代理式 AI架构。
-
使用更昂贵、更高容量的 LLM，这会显著增加你的每请求成本。
这意味着在生成式 AI 项目中，性能不仅仅是关于性能，它总是在质量、速度、可扩展性和成本之间保持平衡。
当我与利益相关者讨论生成式 AI 性能时，我总是尽早将成本纳入谈话。商业用户通常认为他们在 ChatGPT 等面向消费者的工具中看到的高性能会直接转化为他们自己的用例。实际上，这些结果是通过可能在生产环境中运行成本过高（并且只有对价值数十亿美元的公司而言才可行）的模型和配置实现的。
关键是设定现实的期望：
-
如果企业愿意为顶级性能付费，那太好了。
-
如果成本限制很严格，你可能需要优化一个“足够好”的解决方案，在性能和可负担性之间取得平衡。
这些是我为设置 AI 项目期望的建议，尤其是在 B2B 领域，利益相关者通常会带着强烈的假设进入。
关于你呢？你有什么建议或经验教训要分享吗？在评论中分享它们吧！
浙公网安备 33010602011771号