公司在将人工智能-机器学习整合到其流程中时犯的致命错误

公司在将人工智能/机器学习整合到其流程中时犯的致命错误

原文：towardsdatascience.com/critical-mistakes-companies-make-when-integrating-ai-ml-into-their-processes/

我目前是一名首席数据科学家，在我的职业生涯中，我曾在多个行业中工作，从小型初创公司到全球性企业，从以人工智能为先的公司到高度监管的银行。多年来，我看到了许多人工智能和机器学习项目的成功，但也看到了令人惊讶的数量失败。失败的原因通常与算法关系不大。根本原因几乎总是组织如何对待人工智能。

这不是一个清单、操作手册或一系列硬性规则。这是我对遇到的最常见错误进行的回顾，以及一些关于为什么它们会发生以及我认为如何避免它们的推测。

1. 缺乏稳固的数据基础

在缺乏不良数据或数据不足的情况下，由于技术成熟度低，人工智能/机器学习项目注定要失败。这种情况在组织在建立稳固的数据工程习惯之前就组建了数据科学/机器学习团队时尤为常见。

我曾经有一位经理对我说，“电子表格不能赚钱。”然而，在大多数公司中，情况正好相反：“电子表格”是唯一可以推动利润上升的工具。未能做到这一点意味着陷入了经典的机器学习格言：“垃圾输入，垃圾输出。”

我曾经在一家人工智能数据科学团队工作。我们对数据科学团队的梦想是高远的：深度学习推荐系统、通用人工智能等。但数据一团糟：太多的旧架构，导致会话和预订无法可靠地关联，因为没有唯一的键 ID；餐厅菜品 ID 每两周轮换一次，因此无法安全地假设顾客实际订购了什么。这些问题以及许多其他问题意味着每个项目有 70%的工作是权宜之计。没有时间或资源来寻找优雅的解决方案。但其中一些项目，由于基于不可信的数据而构思，一年内没有产生任何结果。

要点：在机器学习之前投资于数据工程和数据质量监控。保持简单。早期的胜利和“低垂的果实”不一定需要高质量的数据，但人工智能肯定需要。

2. 缺乏明确的企业案例

机器学习通常是因为它很时髦，而不是为了解决实际问题，尤其是在 LLM 和代理人工智能炒作的背景下。公司围绕技术构建用例，而不是反过来，最终构建出过于复杂或冗余的解决方案。

想象一下，在一个水费支付应用程序中，有一个 AI 助手，客户只需按三个按钮，或者在一个仪表盘解决方案中，有一个 AI 翻译器，使得仪表盘易于理解。快速在谷歌上搜索失败的 AI 助手例子，会出现许多这样的实例。

我职业生涯中的一个例子是在一个餐厅发现和预订应用程序（一个餐饮聚合器，让我们这么说）上构建一个助手的项目。大型语言模型（LLMs）非常流行，高层有恐惧错过的感觉。他们决定开发一个低优先级的保险服务，使用户面对的聊天助手。助手会根据像“显示有折扣的好地方”、“我想和女朋友吃一顿豪华晚餐”或“找到宠物友好的地方”这样的请求来推荐餐厅。

团队花了一年时间开发它：设计了数百种场景，调整了护栏，后端变得坚不可摧。但问题的本质是，这个助手并没有解决任何真正的用户痛点。甚至只有极少数用户尝试使用它，在他们中间，只有统计上不显著的数量会话导致了预订。项目早期就被放弃，并且没有扩展到其他服务。如果团队从确认用例而不是助手功能开始，这样的命运可能就不会发生。

要点：始终从问题开始。深入理解痛点，用数字为其赋值，然后才开始开发之旅。

3. 在掌握基础知识之前追求复杂性

大多数社区都会跳到最新版本，而不停下来看看是否简单的办法就足够了。一种尺寸并不适合所有人。一种渐进的方法，从简单开始，根据需要逐步增加，几乎总是会产生更高的投资回报率。为什么要把事情做得比必要的更复杂呢？当线性回归、预训练模型或简单的启发式方法就足够时？从简单开始可以提供洞察：你了解问题，找出为什么你没有成功，并为后续迭代提供一个坚实的基础。

我实施了一个项目，旨在设计一个多服务应用程序首页上的快捷小部件，其中包含打车服务。想法很简单：预测用户是否启动了应用程序来请求打车，如果是的话，预测他们最有可能去的地方，以便用户可以一键预订。管理层规定解决方案必须是神经网络，不能是其他任何东西。经过四个月的痛苦演变之后，我们发现对于可能有深度打车历史的 10%的乘客，预测表现得非常好。即使对他们来说，预测也是糟糕的。而问题最终在一夜之间通过一系列业务规则得到了解决。如果公司一开始就保守一些，可以避免几个月的徒劳努力。

要点：先走后跑。将复杂性作为最后的手段，而不是起点。

4. 机器学习团队与业务之间的脱节

在大多数组织中，数据科学是一个孤岛。团队构建了技术上令人惊叹的解决方案，但这些方案从未得到应用，因为它们没有解决正确的问题，或者因为业务利益相关者不信任它们。相反的情况也好不到哪里去：当业务领导者试图全面指挥技术发展，设定无法实现的目标，并推动无人能捍卫的解决方案时。平衡是答案。机器学习在领域专家、工程师和决策者之间的协作中茁壮成长。

我最常见到这种情况是在大型非 IT 原生公司。他们意识到人工智能/机器学习具有巨大的潜力，并设立了“AI 实验室”或卓越中心。问题是这些实验室通常与业务完全隔离，他们的解决方案很少被采用。我曾为一家大型银行工作，那里就有这样一个实验室。那里有经验丰富的专家，但他们从未与业务利益相关者会面。更糟糕的是，实验室被设立为一个独立的子公司，数据交换是不可能的。公司对实验室的工作并不感兴趣，最终这些工作只是变成了学术界的论文，而没有进入公司的实际流程。

要点： 将机器学习倡议与业务需求紧密对齐。尽早合作，经常沟通，并与利益相关者迭代，即使这会减缓开发速度。

5. 忽视 MLOps

在小规模上，定时任务和笨拙的脚本可以工作。但话说回来，随着公司规模的扩大，这将成为灾难的配方。没有 MLOps，即使是微小的调整也需要每一步都涉及原始开发者，系统被一次又一次地完全重写。

在 MLOps 上的早期投资会带来指数级的回报。这不仅仅关乎技术，更在于建立一个稳定、可扩展和可持续的机器学习文化。

早期投资 MLOps 会带来指数级的回报。这不仅仅是关于技术；这是关于创造一个可靠、可扩展和可维护的机器学习文化。不要让混乱降临到你身上。在机器学习项目失控之前，建立良好的流程、平台和培训。

我曾在一家人工智能技术子公司工作。该平台服务于互联网广告，是公司最大的收入来源。因为它很新（只有一年），机器学习解决方案极其脆弱。模型只是被一个工程师用 C++包装，然后直接放入产品代码中。只有当那个工程师在场时才会进行集成，模型从未被跟踪，一旦原始作者离开，就没有人知道它们是如何工作的。如果换班工程师也离开了，整个平台将永久关闭。这种风险本可以通过良好的 MLOps 来预防。

6. 缺乏 A/B 测试

一些企业由于复杂性和避免 A/B 测试，而选择回测或直觉代替。这会让不良模型进入生产环境。没有测试平台，就无法知道哪些模型真正表现良好。需要适当的实验框架来进行迭代改进，尤其是在规模较大的情况下。

通常阻碍采用的因素是复杂感。但一个简单、流畅的 A/B 测试流程在早期可以很好地工作，并且不需要巨大的前期投资。对齐和培训确实是最大的关键。

在我的情况下，没有一种可靠的方式来衡量用户影响，这取决于管理者如何推销它。好的提案会得到资助，得到热烈的辩护，有时即使数字减少，也会持续下去。通过简单地比较发布前后的数据来操纵指标。如果它们确实增加了，那么项目就是成功的，尽管这只是一个普遍的上升趋势。在增长型企业中，有成百万的次级项目隐藏在整体增长背后，因为没有 A/B 测试来持续区分成功和失败。

要点： 早期建立实验能力。测试所需的大规模部署，并让团队正确解读结果。

7. 缺乏训练的管理

缺乏训练的机器学习管理可能会误解指标，误解实验结果，并做出战略错误。教育决策者与教育工程团队同样重要。

我曾经和一个团队一起工作，他们拥有所有需要的科技，还有强大的 MLOps 和 A/B 测试，但管理者不知道如何使用它们。他们使用了错误的统计测试，在“统计显著性”达到后（通常观察数据过少）就结束了实验，并推出了没有可衡量影响的功能。结果是：许多发布产生了负面影响。管理者本身并不是坏人，他们只是不理解如何使用他们的工具。

8. 不一致的指标

虽然机器学习/数据科学组织需要与业务对齐，但这并不意味着他们需要具备商业直觉。如果机器学习从业者觉得提供的指标是正确的，他们也会对任何指标进行对齐。如果机器学习目标与公司目标不一致，结果将会适得其反。例如，如果公司想要的是盈利能力，而机器学习组织的目标是最大化新用户转化率，那么他们将通过添加从未回归的坏单位经济用户来最大化无利可图的增长。

这对许多公司来说是一个痛点。一家食品配送公司希望扩大规模。管理层观察到新用户的转化率低，这是阻碍业务增长收入的问题。DS 团队被要求通过个性化提升客户体验来解决这一问题。真正的问题是留存率，转化后的用户没有回来。团队没有关注留存率，而是专注于转化，实际上是在往一个漏水的水桶里灌水。尽管转化率有所提高，但这并没有转化为可持续的增长。这些错误并不特定于任何商业或行业规模——这些都是普遍的错误。

这些错误是可以避免的。当人工智能和机器学习基于良好的原则、旨在解决实际问题且在商业中谨慎实施时，它们确实有效。当所有条件都恰到好处时，人工智能和机器学习就会变成具有颠覆整个企业潜力的技术。

要点： 使机器学习指标与真正的商业目标一致。对抗原因，而不是症状。重视长期表现，而不是短期指标。

结论

通往人工智能/机器学习成功之路，与其说是关于最前沿的算法，不如说是关于组织的成熟度。模式是明显的：失败源于急于求成、激励措施不匹配和忽视基础基础设施。成功需要耐心、纪律和对从小处开始的开放态度。

好消息是，所有这些错误都是完全可以避免的。那些首先建立数据基础设施、保持技术和业务团队之间紧密协调、不被潮流所干扰的公司会发现，人工智能/机器学习确实如其所承诺的那样发挥作用。这项技术确实有效，但它必须建立在稳固的基础上。

如果有一个原则将所有这些联系在一起，那就是这个：人工智能/机器学习是一个工具，而不是一个目的地。从问题开始，确认需求，迭代开发，并始终衡量。那些以这种心态来处理这些业务的公司不仅不会失败，反而会创造长期竞争优势，随着时间的推移而累积。

未来不属于拥有最新模型的公司，而是属于那些有纪律合理应用它们的公司。