标注工具迭代前后的效率差异的对比方法

数据标注是AI能力提升的基础，能够高效、低成本地生产高质量数据，是AI公司以及AI上游产业的核心竞争力。其中研究标注工具迭代前后的效率差异，对评价迭代效果具有重要意义。

方法一

在衡量标注效率时，有3个变量会影响我们的计算：有标客自身的效率差异（同一人随着时间发展，效率会提高；不同人的标注效率不同）；也有工具迭代带来的效率提升；还有工具的功能增加造成的标注时间延长。

我们要分析标注工具迭代带来的效率变化，就要排除其他因素的影响，具体操作方法如下。

1、  保持受试对象相同。

2、  保持测试题目相同。

3、  保持受试对象对题目的熟练度相同：由于受试对象第一次做A任务，和第二次做A任务的熟练度有较大差异。而第二次和第三次做任务的熟练度差异相对较小。所以对比标注工具α版本和β版本的效率提升幅度的恰当方法是：将第二次做任务（使用α版本工具）的效率，和第三次做任务（使用β版本工具）的效率进行对比。

4、  注：如果工具的迭代版本改变了标注方法，如本来只需要画框标属性，迭代版本新增了转写文本的功能，那么标注的工作量势必会增加。这种情况就不应该跟之前版本进行效率对比了，因为本质上是不同的标注方式了。此时仍然可以测算该版本的标注效率，但是应该以当前版本作为新的起点，对比后续迭代版本与当前版本的效率提升值。

 

方法二

由于方法一需要控制的变量很多，操作成本和耗时较长，所以对于时间和成本有要求的人可以尝试第二种方法。第二种方法的思想是对于影响效率的变量仅作粗略的控制，不苛刻地要求其他变量一致。

1、  保持受试对象的标注能力平均分布：从现有标客团队随机抽取数量均等的A、B两组标客。

2、  保持测试题目的难度平均分布：将同一批任务随机分成文件数量均等的两组。

3、  将两组任务分别在α版本和β版本的标注工具上创建任务，A、B两组标客分别在两种工具上完成标注任务。

4、  计算A、B两组的平均产出效率：总产量（图片张数、音频分钟数）/总标注时长

统计A、B两组，单位产量下的操作次数：统计点击、输入、画框、切分音频等操作的次数，得数量m。m/总产量，求得的数值越小，说明标注工具的设计越合理。时，