算法评测报告

算法评测报告

概述

  • 命中率:

    • 加分项

      完整原问题命中率93.4% ,直接模糊检索的关键词命中率90.3%,调整原问题中词汇的近义词的命中率

      85%,句式结构变化而含义不变命中率95.5%.

    • 减分项

      • 无关问题(应该返回空数组)

        问题数据总数20,达标率(返回空数组数/总数)65%

      • 语气、助词、等无用语句对结果与命中率的影响

        问题数据总数20, 含语气词,命中率100%.

         


       

 

一、加分视角

  • 完整原问题命中率

    • 数据量及命中率:财务123条、运营234条;运营命中率96.6%,财务命中率90.2%,取平均为:93.4%

    • 示例

      1、命中示例:
         --request
        {
      "question": "请问我需要更换我在系统里的薪资卡,怎么办?",
      "robot": "operation"
      }
      --response
            {
         "ext": null,
         "responseData": {
             "questions": [
                {
                     "ques": "请问我需要更换我在系统里的薪资卡,怎么办?",
                     "id": "3"
                },
                {
                     "ques": "我是新入职员工,hi报销绑定薪资卡提示参数非法",
                     "id": "199"
                },
                {
                     "ques": "客脉里已经审核完毕的供应商手机号码或者银行卡需要变更,如何处理?",
                     "id": "9"
                },
                {
                     "ques": "企业供应商,银行账号需要更改",
                     "id": "23"
                },
                {
                     "ques": "个人供应商审核通过,需要重新维护个人供应商银行卡信息怎么办",
                     "id": "24"
                },
                {
                     "ques": "如何修改已经审核通过的企业供应商的银行账户信息",
                     "id": "25"
                },
                {
                     "ques": "企业供应商维护找不到所属银行",
                     "id": "14"
                },
                {
                     "ques": "做合同的时候,供应商的银行账号选错了怎么办?",
                     "id": "38"
                },
                {
                     "ques": "RTX密码忘记了,如何修改",
                     "id": "198"
                },
                {
                     "ques": "如何更换公司预留手机号",
                     "id": "215"
                }
            ],
             "msgCode": "700"
        },
         "message": "成功",
         "msgCode": "100"
      }
      2、未命中示例:
        --request
        {
      "question": "客脉里维护医生/护士信息时,在对应的网站里没有查询到资格证号信息,该怎么处理?",
      "robot": "operation"
      }
        --response
        {
         "ext": null,
         "responseData": {
             "questions": [
                {
                     "ques": "护士资格证查询网址",
                     "id": "6"
                },
                {
                     "ques": "医生资格证的查询网址",
                     "id": "5"
                },
                {
                     "ques": "晴优品商城里如何搜索商品?",
                     "id": "151"
                },
                {
                     "ques": "搜索不到想要用餐的商户",
                     "id": "121"
                },
                {
                     "ques": "药房录单了,柳叶助手怎么查录单信息",
                     "id": "99"
                },
                {
                     "ques": "在客脉里添加了信息,为什么请款\/报销时还是不能搜索到?",
                     "id": "27"
                },
                {
                     "ques": "项目管理里领导已经审批完毕,团队成员已选择该用户,但是用户打Q计划时,无法搜索到该项目",
                     "id": "146"
                },
                {
                     "ques": "创建合同选择不到对应的供应商",
                     "id": "33"
                },
                {
                     "ques": "晴闪寄月结号查询",
                     "id": "220"
                },
                {
                     "ques": "晴优品商城是否有物流信息",
                     "id": "148"
                }
            ],
             "msgCode": "700"
        },
         "message": "成功",
         "msgCode": "100"
      }
    • 未命中问题

      问答机器人系统未命中问题 
      finance "旅游服务”字样发票是否可以使用?  
      finance 相关专家的讲课服务费限额多少?一年能为一个专家支付的讲课费次数和总金额是多少?  
      finance 我这是项目计划还是学术会议计划?  
      finance 其他原因未使用i随行打车,可以自行打车报销吗?  
      finance 新增客户,需要追溯前期业绩,如何进行申请?  
      finance 我是离职人员,我的费用什么时候到账?  
      finance 我是离职人员,我的费用还没有在hi报销填报完毕,现在系统已经关闭,我该如何报销费用?  
      finance 茶叶、酒可以通过公司的什么渠道进行购买?  
      finance 邮寄报销单通过什么应用?  
      finance i随行用车时需要备注吗?  
      finance 各部门有数据需求时,报表口径有哪些  
      finance 想要开通手机端数据慧说话的权限查看相关数据需要找谁  
      operation 客脉不见了  
      operation 改过名字的(有曾用名的)个人供应商如何认证?  
      operation 合同中心里捐赠需要使用什么合同模板?  
      operation 合同中心登录后,点击合同中心列表无法看到之前打的合同?  
      operation 我新增的合同,领导钉钉待办里面没有  
      operation 为什么学术会议会务费请款可以找到计划,但是找不到计划下的合同  
      operation i随行可给领导代订火车票吗  
      operation 品牌管理系统的账号密码  

       

    •  

  • 直接模糊检索的关键词

    • 数据量及命中率:124,未命中:40,命中率约90.3%;

    • 示例

      1、命中示例:
         --request
        {
      "question": "报销要求?",
      "robot": "finance"
      }

      --response
      {
         "ext": null,
         "responseData": {
             "questions": [
                {
                     "ques": "如何确定发票是否符合报销要求?",
                     "id": "10"
                },
                {
                     "ques": "报销票据有什么要求?",
                     "id": "54"
                },
                {
                     "ques": "团建报销有什么要求?需要什么附件?",
                     "id": "57"
                },
                {
                     "ques": "电子发票的报销要求有哪些?",
                     "id": "127"
                },
                {
                     "ques": "差旅自驾有什么要求?需要什么附件?",
                     "id": "56"
                },
                {
                     "ques": "相关专家的讲课服务费限额是多少?",
                     "id": "30"
                },
                {
                     "ques": "目标医院的标准是什么?备案条件是什么?",
                     "id": "31"
                },
                {
                     "ques": "目标药店的备案条件是什么?",
                     "id": "34"
                },
                {
                     "ques": "报销单据应邮寄给谁?",
                     "id": "3"
                },
                {
                     "ques": "自垫费用超过一万的学术会议报销无法提交怎么办?",
                     "id": "46"
                }
            ],
             "msgCode": "700"
        },
         "message": "成功",
         "msgCode": "100"
      }

      2、未命中示例:
         --request
        {
      "question": "办事处考核费用",
      "robot": "finance"
      }
         --response
            {
         "ext": null,
         "responseData": {
             "questions": [
                {
                     "ques": "报销单据应邮寄给谁?",
                     "id": "3"
                },
                {
                     "ques": "自垫费用超过一万的学术会议报销无法提交怎么办?",
                     "id": "46"
                },
                {
                     "ques": "离职人员的费用还没有在hi报销填报完毕,现在系统已经关闭,该如何报销费用?",
                     "id": "72"
                },
                {
                     "ques": "临床受试者费用报销时需要提供什么资料?",
                     "id": "131"
                },
                {
                     "ques": "我的报销单线上已审批过了,可以生成报销后直接邮寄到财务入账吗?",
                     "id": "8"
                },
                {
                     "ques": "离职人员的费用什么时候到账?",
                     "id": "71"
                },
                {
                     "ques": "租房中介费可以报销么?",
                     "id": "156"
                },
                {
                     "ques": "物业费可以报销么?",
                     "id": "157"
                },
                {
                     "ques": "临床CRA的GCP培训费用如何报销?",
                     "id": "133"
                },
                {
                     "ques": "报销邮寄期限是?",
                     "id": "4"
                }
            ],
             "msgCode": "700"
        },
         "message": "成功",
         "msgCode": "100"
      }

       

    • 未命中问题

      问题
      旅游服务字样发票
      整改后的单据
      填错了怎么办
      办事处考核费用
      一年讲课费次数
      一年讲课费总金额
      等车时间太长,平台叫不到车
      使用地无车可用
      没有支付成功什么原因?
      i随行用车时需要备注吗?
      发票找不到合同(订单)

       

    •  

  • 调整原问题中词汇的近义词

    • 数据量及命中率:数据总量20,未命中数3,命中率85%。

    • 示例

      1、命中示例:
         --request
      {
      "question": "客商更名了怎么办?",
      "robot": "finance"
      }

      --response
      {
         "ext": null,
         "responseData": {
             "questions": [
                {
                     "ques": "医院等级变更如何备案?",
                     "id": "52"
                },
                {
                     "ques": "合同如何进行变更?",
                     "id": "146"
                },
                {
                     "ques": "客户更名了怎么办?",
                     "id": "44"
                },
                {
                     "ques": "商务卡应该如何办理?",
                     "id": "144"
                },
                {
                     "ques": "线下报销流程是什么?",
                     "id": "9"
                },
                {
                     "ques": "费用报销在哪个端口?",
                     "id": "53"
                },
                {
                     "ques": "未使用i美食,已经与财务BP沟通完毕,可线下报销的,具体线下报销如何进行操作?",
                     "id": "69"
                },
                {
                     "ques": "在晴优品上下单以后,后续流程如何进行?",
                     "id": "106"
                }
            ],
             "msgCode": "700"
        },
         "message": "成功",
         "msgCode": "100"
      }

      2、未命中示例:
         --request
        {
      "question": "在客脉里维护了数据,为什么请款/报销时还是不能检索到?",
      "robot": "operation"
      }
         --response
          {
         "ext": null,
         "responseData": {
             "questions": [
                {
                     "ques": "房东工作单位栏如何填写",
                     "id": "7"
                },
                {
                     "ques": "创建合同选择不到对应的供应商",
                     "id": "33"
                },
                {
                     "ques": "在客脉里添加了信息,为什么请款\/报销时还是不能搜索到?",
                     "id": "27"
                },
                {
                     "ques": "Q计划-学术会议的共享人,为什么可以请款,但是不能报销?",
                     "id": "113"
                },
                {
                     "ques": "晴闪寄是否可以到付",
                     "id": "221"
                },
                {
                     "ques": "我是会议主办人,但是会议临时取消了,已经产生的费用还能报销吗?",
                     "id": "208"
                },
                {
                     "ques": "请款选择不到对应的合同",
                     "id": "137"
                },
                {
                     "ques": "为什么学术会议会务费请款可以找到计划,但是找不到计划下的合同",
                     "id": "140"
                },
                {
                     "ques": "请问我需要更换我在系统里的薪资卡,怎么办?",
                     "id": "3"
                },
                {
                     "ques": "请款单被驳回以后,合同需要重新创建吗",
                     "id": "138"
                }
            ],
             "msgCode": "700"
        },
         "message": "成功",
         "msgCode": "100"
      }

       

    • 未命中问题

      提问问题应命中问题
      finance-没有拿到发票怎么办?可以拿其他票报销吗? 商家不开票怎么办?可以拿其他票报销吗?
      operation-修改过姓名的个人供应商如何认证? 改过名字的(有曾用名的)个人供应商如何认证?
      operation-在客脉里维护了数据,为什么请款/报销时还是不能检索到? 在客脉里添加了信息,为什么请款/报销时还是不能搜索到?

       

  • 句式结构变化而含义不变(换一种问法)

    • 数据量及命中率: 总数111,命中106,未命中,5,命中率95.5%。

    • 示例

      1、命中示例:
      --request
        {
      "question": "出差过程中在其他平台上预订酒店、机票/火车票或打车,该怎么样正常计算差旅补贴?",
      "robot": "finance"
      }
         --response
            {"msgCode":"100","responseData":{"questions":[{"ques":"出差补贴在哪里可进行查看?","id":"78"},{"ques":"差旅补贴怎么报销?","id":"92"},{"ques":"如何查询自己在出差地的住宿额度?","id":"29"},{"ques":"差旅自驾有什么要求?需要什么附件?","id":"56"},{"ques":"因为特殊原因没有通过i随行预订住宿的,怎么报销?","id":"63"},{"ques":"关于新员工入职的差旅和体检费用应该如何报销?","id":"105"},{"ques":"如果出差过程中未通过i随行预订酒店、机票/火车票或打车,如何正常计算差旅补贴?","id":"107"},{"ques":"等车时间太长,平台叫不到车,或使用地无车可用,或其他原因未使用I随行,可以自行打车报销吗?","id":"64"},{"ques":"i随行平台上的酒店住宿价格比其他平台高出很多,可以从其他平台定吗?","id":"62"},{"ques":"在预算系统中填报的数据怎么查询?","id":"116"}],"msgCode":"700"},"ext":null,"message":"成功"}
      2、未命中示例:
         --request
        {
      "question": "想要开通手机端数据慧说话的权限查看相关数据应该怎么操作",
      "robot": "finance"
      }
         --response
        {"msgCode":"100","responseData":{"questions":[{"ques":"线下报销流程是什么?","id":"9"},{"ques":"费用报销在哪个端口?","id":"53"},{"ques":"未使用i美食,已经与财务BP沟通完毕,可线下报销的,具体线下报销如何进行操作?","id":"69"},{"ques":"我可以查询到哪些报表数据?","id":"76"},{"ques":"SVC补差系统(商业企业运营管理系统)中报表查询","id":"101"},{"ques":"薪资明细在哪里进行查询?","id":"23"},{"ques":"出差补贴在哪里可进行查看?","id":"78"},{"ques":"在晴优品上下单以后,后续流程如何进行?","id":"106"},{"ques":"在预算系统中填报的数据怎么查询?","id":"116"},{"ques":"结账后,报表在哪里查询?","id":"73"}],"msgCode":"700"},"ext":null,"message":"成功"}

       

    • 未命中问题

      未命中问题
      相关专家的讲课服务费最高额度是多少?一年能为一个专家支付的几次讲课费,以及一年支付的总金额是多少?
      什么应用可以邮寄报销单?
      离职人员应该找谁开具离职证明?
      各部门有数据需求时,有哪些口径可以报表
      想要开通手机端数据慧说话的权限查看相关数据应该怎么操作

       


 

二、减分视角

  • 无关问题

    • 无关问题总数:20 ,应返回空数组问题数:20 (ok),实际返回空数组问题数:13

    • 问题及接口返回

      • 无关问题-减分项-finance-今天天气如何? -- ok

      • 无关问题-减分项-finance-通过努力学习,天天向上

        1. 应返回

          {
             "ext": null,
             "responseData": {
                 "questions": [
                ],
                 "msgCode": "700"
            },
             "message": "成功",
             "msgCode": "100"
        }

         

        1. 实际返回

          {
             "ext": null,
             "responseData": {
                 "questions": [
                    {
                         "ques": "如果出差过程中未通过i随行预订酒店、机票\/火车票或打车,如何正常计算差旅补贴?",
                         "id": "107"
                    }
                ],
                 "msgCode": "700"
            },
             "message": "成功",
             "msgCode": "100"
        }

         

      • 无关问题-减分项-finance-你们认识王建宇吗,我想和他讲话 --ok

      • 无关问题-减分项-finance-最近胖了 --ok

      • 无关问题-减分项-finance-啥时候去打球 --ok

      • 无关问题-减分项-finance-what is your name? --ok

      • 无关问题-减分项-finance-最高的山峰是什么? -- ok

      • 无关问题-减分项-finance-苹果手机iphones好用不 --ok

      • 无关问题-减分项-finance-计划下一个月跑步

        1. 应返回

          {
             "ext": null,
             "responseData": {
                 "questions": [
                ],
                 "msgCode": "700"
            },
             "message": "成功",
             "msgCode": "100"
          }

           

        2. 实际返回

          {
             "ext": null,
             "responseData": {
                 "questions": [
                    {
                         "ques": "如何将需求计划和主计划关联?",
                         "id": "137"
                    },
                    {
                         "ques": "我的Q计划怎么打?",
                         "id": "47"
                    },
                    {
                         "ques": "在创建主计划时,用餐计划怎么自动触发?",
                         "id": "108"
                    },
                    {
                         "ques": "计划关闭失败,如何进行处理?",
                         "id": "61"
                    },
                    {
                         "ques": "我有一场会议,相关费用要打计划报销,请问应该打项目计划还是学术会议计划?",
                         "id": "48"
                    },
                    {
                         "ques": "计划误关了,可否请财务帮忙打开?",
                         "id": "11"
                    },
                    {
                         "ques": "计划\/报销入口\/端口选择错误\/填错了怎么办?如何调整报销端口",
                         "id": "13"
                    },
                    {
                         "ques": "哪些计划可以关闭?",
                         "id": "14"
                    },
                    {
                         "ques": "计划填错了,是否会计入办事处考核费用?",
                         "id": "15"
                    },
                    {
                         "ques": "发票无法关联自己已提交且审批通过的计划是什么原因?",
                         "id": "130"
                    }
                ],
                 "msgCode": "700"
            },
             "message": "成功",
             "msgCode": "100"
          }

           

      • 无关问题-减分项-finance-与地球为敌 --ok

      • 无关问题-减分项-operation-明天天气如何?--ok

      • 无关问题-减分项-operation-通过努力学习,天天向上

        1. 应返回

          {
              "ext": null,
              "responseData": {
                  "questions": [
                  ],
                  "msgCode": "700"
              },
              "message": "成功",
              "msgCode": "100"
          }
          

           

        2. 实际返回

          {
              "ext": null,
              "responseData": {
                  "questions": [
                      {
                          "ques": "个人供应商审核通过,需要重新维护个人供应商银行卡信息怎么办",
                          "id": "24"
                      },
                      {
                          "ques": "如何修改已经审核通过的企业供应商的银行账户信息",
                          "id": "25"
                      }
                  ],
                  "msgCode": "700"
              },
              "message": "成功",
              "msgCode": "100"
          }
          

           

      • 无关问题-减分项-operation-你们认识王建lin吗,我想和他讲话 --ok

      • 无关问题-减分项-operation-最近瘦了 --ok

      • 无关问题-减分项-operation-啥时候去打篮球 --ok

      • 无关问题-减分项-operation-即使谁也不行? --ok

      • 无关问题-减分项-operation-世界上最高的山峰是什么?

        1. 应返回

          {
              "ext": null,
              "responseData": {
                  "questions": [
                  ],
                  "msgCode": "700"
              },
              "message": "成功",
              "msgCode": "100"
          }
          

           

        2. 实际返回

          {
              "ext": null,
              "responseData": {
                  "questions": [
                      {
                          "ques": "**省通用电子发票怎么录票,扫描录不上",
                          "id": "65"
                      }
                  ],
                  "msgCode": "700"
              },
              "message": "成功",
              "msgCode": "100"
          }
          

           

      • 无关问题-减分项-operation-计划下一个月开始跑步

        1. 应返回

          {
              "ext": null,
              "responseData": {
                  "questions": [
                  ],
                  "msgCode": "700"
              },
              "message": "成功",
              "msgCode": "100"
          }
          

           

        2. 实际返回

          {
              "ext": null,
              "responseData": {
                  "questions": [
                      {
                          "ques": "手机如何添加公司邮箱",
                          "id": "228"
                      }
                  ],
                  "msgCode": "700"
              },
              "message": "成功",
              "msgCode": "100"
          }
          

           

      • 无关问题-减分项-operation-苹果手机iphones好用不

        1. 应返回

        2. 实际返回

          {
              "ext": null,
              "responseData": {
                  "questions": [
                      {
                          "ques": "PC端需求计划的账号密码是什么?",
                          "id": "100"
                      },
                      {
                          "ques": "需求计划怎么转采购订单",
                          "id": "58"
                      },
                      {
                          "ques": "打需求计划采购物品没有物料号怎么办",
                          "id": "104"
                      },
                      {
                          "ques": "晴优品下单商品需要打计划吗?",
                          "id": "153"
                      },
                      {
                          "ques": "打需求计划,需求内容是房租,品类选什么",
                          "id": "101"
                      },
                      {
                          "ques": "Q计划关闭了还能打开吗",
                          "id": "103"
                      },
                      {
                          "ques": "Q计划打错了,已经提交,第一级领导已经审批了,可以撤回吗",
                          "id": "105"
                      },
                      {
                          "ques": "一次需要填报多个需求,手机上怎么操作",
                          "id": "110"
                      },
                      {
                          "ques": "i美食点餐关联不了用餐计划",
                          "id": "115"
                      },
                      {
                          "ques": "报销找不到对应的计划",
                          "id": "141"
                      }
                  ],
                  "msgCode": "700"
              },
              "message": "成功",
              "msgCode": "100"
          }
          

           

      • 无关问题-减分项-operation-嫦娥一号登月

        1. 应返回

          {
              "ext": null,
              "responseData": {
                  "questions": [
                  ],
                  "msgCode": "700"
              },
              "message": "成功",
              "msgCode": "100"
          }
          

           

        2. 实际返回

          {
              "ext": null,
              "responseData": {
                  "questions": [
                      {
                          "ques": "晴闪寄月结号查询",
                          "id": "220"
                      },
                      {
                          "ques": "打需求计划采购物品没有物料号怎么办",
                          "id": "104"
                      }
                  ],
                  "msgCode": "700"
              },
              "message": "成功",
              "msgCode": "100"
          }
          

           

      • 无关问题-减分项-operation-我想睡觉 --ok

       

  • 推荐问题的数量与正确数量的差距

    • 数据视角量:20

    • 推荐问题的数量与正确数量(相近问题)对比表

       

      用户问题推荐问题正确数量错误数量正确率
      业绩追溯 Result[0]=以前的业绩可以追溯吗? Result[1]=业绩事项咨询,可以联系谁? Result[2]=我的纯销业绩为什么不对? 2 1 66.7%
      纯销业绩不对 Result[0]=问题单据到账时间是什么时候?我整改后的单据为什么一直未处理? Result[1]=问题单,补充资料邮寄给谁? Result[2]=业绩事项咨询,可以联系谁? Result[3]=我的纯销业绩为什么不对? Result[4]=合同出现错误怎么操作? Result[5]=计划/报销入口/端口选择错误/填错了怎么办?如何调整报销端口 Result[6]=计划填错了,是否会计入办事处考核费用? Result[7]=采购订单错误怎么处理? Result[8]=请款提交后,发现有错误,怎么修改? Result[9]=以前的业绩可以追溯吗? 3 7 30%
      客脉不见了 Result[0]=房东工作单位栏如何填写 Result[1]=创建合同选择不到对应的供应商 0 2 0
  • 语气、助词、等无用语句对结果与命中率的影响

    • 数据量:总数20,命中率100%。

posted @ 2021-06-26 23:54  H.「俠」  阅读(379)  评论(0)    收藏  举报