意图识别

关键词：

指代消解、上下文、长难句、意图缺失模糊如何做意图补全才有效、意图转换、实时意图和历史意图的平衡、启发式对话、意图冷启动。

做意图识别模型之前，需要有意图体系。

1.1.1. 意图体系建立三部曲

1.1.1.1. 学会意图分析

人工熟悉之后，才能让模型去做。

什么是用户意图？

意图分析第一原则：意图是目的。用户这句话有什么样的目的？

例如：你找别人吃饭，别人说改天吧。请问这是什么意图。

意图分析第二原则：用什么动作承接更合适（根据目的，分析用什么承接动作）

例如上面的牛肉汤场景，很明显是表达愤怒，那么对应的承接动作就是：安抚话术。但是只安抚肯定是不行的，极有可能还有投诉意图（非优选，即使投诉了也没办法弥补损失）和申请餐补意图。一旦用户是申请餐补意图，接下来的承接动作就是：

1. 情况属实，用户能拿回补偿。
2. 进入餐损流程肯定也会有安抚。
3. 根据餐损结果，倒查骑手是否失职。

这么一些列承接动作基本是可以让用户满意的。

1.1.1.2. 标注用户意图

完成单个case的意图分析之后，给算法同事说：开始训练吧。

算法同事会问：能解决什么业务问题？意图占比大不大？

因为AI资源很重要，很多团队都会背着AI指标。因此我们需要根据意图占比的大小进行需求优先级排序。

而这种意图占比的获取就需要我们进行意图标注。

意图标注的一个重要工作就是意图评估（通过随机抽样抽取一部分case，通过这些case来计算占比）

1. 确定评估集

1. 数据规模够大：至少要1000条。大型业务要上万条。
2. 数据抽取时间：尽量模拟真实环境，要去除大促，特殊节日等日期。
3. 数据抽取方式：随机不去重的方式，抽取用户的一段对话，以智能客服为例，这段对话一般是3-5句。
   2. 输出评估文档
4. 每种意图的三部分：意图介绍（简单介绍描述一下这种意图）、代表问（最能代表这种意图的问题的几种方式）、相似问（除代表问之外的同样表达该意图的query）；
5. 这个文档就是把每种意图的这三部分都列举出来，文档初期肯定不完善。但是我们需要它来给团队对齐，什么样的case应该标注什么样类型的意图。从而确定每个意图的范围。
6. 评估至少需要2-3人：因为意图评估非常的主观，需要交叉评估，最好算法部门，业务部门及其他相关部门都要有一个人参与进来。
7. 每个case评完，每类case数据/评估数据总数=该意图的意图占比。

做完这一步，作为产品，我们大概就有底了，就知道场景是什么样了，我们在给什么样的用户做AI产品。

避坑

要注意随机取数的逻辑，因为大家对随机的理解是不同的。

评估人不用心导致评估数据不可用。（除了你自己上心，其他人都不上心）因此不要他们分开去评，尽可能把他们拉起来，约一下午的大会议室，看着他们评。

评估标准不统一。会导致大家争论很久。如果是个例就跳过，如果很多case都这样的话，作为AI产品经理，需要最终拍板。

AI产品经理不应该干评估，标注，这应该是实习生干的，或者外包干的？（错）。评估跟产品优化效果成正比。（AI产品的祖师爷-百度俞军，一条条的看用户的搜索）