如何定义能够带来真实用户价值的AI功能

作为一名产品经理，你很可能经历过这样的情况：你在处理紧急情况、管理路线图、处理功能请求时，CEO又多了一个：“我们需要尽快推出一个人工智能功能，来展示我们的产品有多么创新。”

你找你的技术负责人或架构师，开始讨论各种方案。很可能有人建议用聊天机器人“引导用户做X”，或者“副驾驶”帮助他们走向Y。但它能解决什么问题？AI真的会让体验更好吗？

想想你在数字产品中与聊天机器人的最后一次互动。它有没有帮你实现什么，或者给本该简单的步骤加了进去？对话可以是合适的界面，但它需要赢得自己的位置。

我处理这些请求的方式是我称之为AI价值框架的：一个三步框架，帮助你围绕用户需求、业务价值和可靠性定义AI特性：

1. 验证需求——确认你正在解决真实用户问题

2. 做好AI尽职调查——评估AI是否是合适的解决方案，包括其成本和更简单的替代方案

3. 可靠性设计——定义功能如何处理故障、不确定性和人工监督

在本文中，我将用我自己项目的例子讲解每个步骤，教你如何验证需求、权衡投资，并定义AI功能可靠运行所需的条件。

步骤1：验证用户需求

谈到人工智能，我们往往在寻找适合我们解决方案的问题，而不是相反。每当出现新功能请求时，重要的是要考虑它是否真正满足用户需求，还是只是又一个花哨的创意。毕竟，你的工作是打造一个用户会使用且能为业务带来价值的东西。

首先，花时间了解用户今天是如何处理任务的，他们在哪些方面遇到困难，以及怎样才能获得更好的结果。成功意味着节省时间、减少错误，还是完成目前无法完成的事情？

一旦确定了，就进入解决方案模式。头脑风暴解决问题的方法，不要假设人工智能就是答案。我喜欢先快速做一个原型，自己体验一下这个想法，看看是否合理，然后再用几个用户测试。此时，你是在测试所提出的解决方案是否能带来价值。人工智能是否是实现这些服务的正确方式，是下一个问题。

这里要小心：热情很容易获得，而“这很棒”并不能告诉你太多。更强烈的信号是有人说“这帮我省了很多时间”，但没人提示，然后在会话结束后继续使用原型。如何在 iPhone 上关闭推送通知 - 致知笔记 - 专注教程知识分享 寻找支持你测试的好处的行为，比如更快完成任务或减少纠正次数。

去寻找理由，因为这个想法不会像它那样努力。如果它经受住了审查，用户不断从中获得价值，你就有更强有力的理由继续推进。

第二步：评估AI的成本、收益及替代方案

此时，你有一个有前景的功能构想、一个原型，以及用户的积极信号。下一步是人工智能尽职调查：评估人工智能是否是正确的方法，以及期望值是否能证明成本和业务影响。

---

---

以下是我提出的问题：

1. 这真的需要AI吗？更简单的工作流程或传统的自动化是否能同样有效地解决问题？

2. 建造和运营的成本是多少？考虑开发、测试、集成、维护和模型使用。有多少用户会受益，多频繁？这是否足以证明投资的合理性？

3. 我们怎样才能更快地把有用的东西送到用户手中？最小的版本是什么，仍然能解决他们的问题？

4. 有没有更便宜的方法能达到同样的效果？在决定定制之前，请考虑现有工具和订阅

5. 数据去哪儿了？如果该功能向模型发送个人数据、客户数据或专有信息，隐私和知识产权必须从一开始就纳入决策

AI尽职调查的实践：选择现有工具而非定制工具

现在，让我们来看一个例子，如何用密码代替 PIN 登录 Windows - 致知笔记 - 专注教程知识分享 帮助展示AI尽职调查在实际中的样貌。市场团队的三位成员向我提出请求：他们希望有一个人工智能代理，帮助为业务发展团队参加的活动准备内容包。每个活动的目标受众略有不同，因此市场团队会花费大量时间手动重复使用、再利用并针对各行业定制材料。

我们一起头脑风暴了一个完整的系统，超越了文本生成，还要管理内容包。这个想法很诱人，所以在决定之前，我先通过尽职调查的问题来分析。

• 人工智能适合吗？是的。市场团队需要帮助，生成和调整适合不同受众的草稿内容。但这种需求并不一定能证明我们设想的更大系统是合理的

• 建造成本是多少？覆盖范围值得吗？这就是定制版崩溃的地方。解决方案只服务于三个人，且需求并非战略关键。这需要概念验证、内部审批、在内部工具团队的待办工作中占有一席之地，以及生产发布。在我们的企业环境中，这本可能要花一年时间

• 有没有更快、更便宜的方式来满足核心需求？是的。公司已经为Microsoft Copilot支付了费用。我没有采用定制系统，而是帮助市场团队利用现有订阅来起草和调整材料

球队立刻赢得了胜利，而不是等待定制系统。虽然没有实现我们所有的想法，但解决了促使提出请求的耗时草稿工作。

步骤3：定义你的AI功能的可靠性要求

最后一步最容易跳过，尤其是在没有经验丰富的AI架构师或工程师陪同的情况下。这正是你定义成功定义的地方，以及帮助你的AI功能兑现承诺的护栏。

在构建AI功能之前，请做出四个产品决策：

1. 人在流程中的时刻——什么时候必须审视、批准或做出决定？

2. 故障模式—— 可能出什么问题，系统应如何应对？

3. 范围界限——系统将做什么，以及它永远不会做什么？

4. 透明度——系统将如何向用户传达缺失的信息和不确定性？

我在Agent Build马拉松上创建Caliber求职代理时，修复：Windows 11/10 中系统托盘图标丢失 - 致知笔记 - 专注教程知识分享亲自学到了这些教训。它帮助求职者评估职位是否符合他们的职业目标、经验和公司文化偏好。

用户首先回答一些关于他们偏好的工作文化的问题。接下来是与聊天机器人的专注对话，讨论职业目标和职位偏好，随后上传简历以提供他们的工作经历。对于用户添加的每个职位，Caliber都会评估这三个维度的匹配度，并建议是否申请。

从一开始，我就明确了界限：代理会推荐，但绝不会代表用户采取行动。处理故障和沟通不确定性需要更多工作。

在开发过程中，大型语言模型（LLM）多次表现出我意想不到的行为，包括在没有足够支持证据的情况下生成匹配分数。这些失败暴露了我还需要做出的决策，比如Caliber如何处理缺失信息，并解释了它的建议。

构建可靠AI功能的4个原则

对于产品经理来说，设计可靠性意味着决定用户在哪些方面拥有控制权，如何处理故障，以及系统必须遵守哪些限制。这四条原则帮助你将这些决策转化为团队可以构建和测试的需求。

1. 在关键时刻保持人类的控制

赌注越高，用户需要的控制力就越强。人工智能代理可以研究、分析和推荐，但当决策产生重大影响时，应明确用户必须在哪些地方审查输出或批准某个动作。

在 Caliber 中，代理从不代表用户申请工作，也不会删除它认为不合适的角色。它会根据公司文化、经验和岗位偏好生成加权匹配评分。用户看到理由并做出决定。从一开始，产品选择就将这个决定留给用户。

在建造之前，先决定哪些操作可以独立执行，哪些需要人工批准。确保用户拥有足够的信息来行使这种控制权。

---

2. 定义故障模式及系统应如何响应

当我们不考虑失败模式时，就有可能推出误导用户的人工智能，却不给他们识别问题的方式。

在Caliber中，搜索没有相关信息并未阻止代理人提出推荐。相反，它用通用内容填补了空白。工作流程需要明确处理缺失证据作为一个条件。

我改变了工作流程和说明，让客服能确认未成功的搜索，而不是默默填补空白。我还添加了搜索常缺的信息，比如员工评价，这些内容可以提供更多关于公司文化的背景。

在工程师开始工作之前，先定义可能出错的地方以及系统在每种情况下应采取的措施。它应该重新尝试搜索、向用户索要信息、返回部分结果还是停止搜索？如果再次尝试仍无有效证据，请定义下一步该如何处理。

你可以用LLM头脑风暴潜在的失败，然后和团队一起审查这些情景，测试系统如何处理这些问题。

3. 设定明确的范围界限

当你没有明确定义范围时，AI代理可能会填补空白，或者将交互引导到意想不到的方向。

对于Caliber的对话代理，我明确了目标、有限的对话时长以及具体的话题。一旦代理人收集到足够的信息，它就会停止提问，并提供职业目标总结。

这些界限帮助保持对话的焦点。没有这些代币，代理人可以无休止地提问，探讨不那么相关的话题，并在已经拥有所需信息后继续消耗额外的代币。

定义你的AI功能会做什么、不会做什么，以及什么时候应该停止。这些界限既影响用户体验，也影响交付成本。

4. 让用户可见不确定性

处理缺失的信息只是工作的一部分。用户还需要了解这些差距如何影响他们收到的推荐。

在Caliber中，整体匹配分数最初仅反映可用数据的尺寸。即使缺少重要信息，这也能带来非常高的分数。用户可以合理地将这个数字解读为完整的评估，尽管它只是部分评估。

我修改了评分说明，并标注了缺失信息，方便用户看到评估不完整的地方。

在构建之前，先决定一个支持不足的结果应如何呈现给用户。系统是否应该不计总分，标记个别维度为未知，或将评估标记为部分？选择一个明确界限的演示方式。

失踪的证据不应该从评分中悄然消失。用户需要了解推荐的依据、未知之处，以及这些空白如何限制其实用性。

将可靠性要求转化为AI评估

这些原则结合起来，给你提供了可以通过AI评估（评估）来测试的行为。作为项目经理，你定义重要的用户成果和业务指标，然后与技术负责人或架构师合作，将其转化为评估标准。

例如，一个测试案例可能提供足够的证据来评估候选人的经验契合度，但却无法评估公司文化。预期的行为是识别缺失的证据并解释评估的局限性，而不是虚构文化适应性判断。

为人工审批要求、失败搜索和范围边界设计类似测试。这就是可靠性成为你可以在发布前评估并随着产品演进监控的标准。

总结感想

下次有人让你“添加AI功能”时，先定义它应该带来的价值。验证用户需求，评估AI是否值得投资，并在功能不如预期时决定该功能应如何表现。

这个过程可能会带来定制的AI功能。这也可能引向现有工具或更简单的解决方案。作为项目经理，你的工作是根据问题、预期收益和你所处的限制做出选择。

如果你继续推进AI，就把可靠性需求转化为可以在发布前测试的评估，并在产品演进时重新评估。一个有前景的原型展现了可能性。它如何处理实际任务、缺失的信息和故障，决定了它是否成为人们依赖的产品。