[论文笔记] Crowdsourcing Translation: Professional Quality from Non-Professionals (ACL, 2011)

Time:    4 hours
Timespan: Apr 15 – May 3, 2012
Omar Zaidan, Chris Callison-Burch: Crowdsourcing Translation: Professional Quality from Non-Professionals. ACL 2011: 1220-1229

 

    作者Omar Zaidan是Johns Hopkins University的博士生，主要对NLP感兴趣，专注于text classification and machine translation，编写过一个软件MAISE(Java编写，帮助在mTurk上创建任务、上传文件等)。

下面是主要内容：

1. 本文介绍了一种基于众包的翻译流程，通过redundancy、post edit、rank等手段，来获得质量接近专业水准的译文。

2. (S3) 介绍了整个流程

• (S3.1) 本文使用的数据集是"Urdu-to-English 2009 NITS Evaluation", 包含1792句Urdu语，每句Urdu语有四句参考翻译（由专业人士提供）。
• (S3.2) 作者将这些句子放到了mTurks上，任务是获取这些句子的英文翻译，进行了两轮：第一轮的任务是翻译整个文档，每句Urdu语获得了一份翻译；第二轮进行了改进，拆分了文档，每个任务是翻译10句，并且这些待翻译的句子是以图片的形式展示给worker，这一轮每句Urdu语获得了三份翻译。
• (S3.3) 然后进入Post-editing和Ranking(没找到文中具体描述如何ranking的文字)的步骤，这个步骤的任务也是在mTurk上以任务形式完成，但要求US-based worker才能参与。第一轮获得的翻译被编辑一次，第二轮获得的三份翻译各被编辑三次（不明白为什么要这样区分处理），这样对于一句Urdu语，总共就得到了10份编辑后的翻译和4份初始翻译。

3. 通过(S3)介绍的流程，一份Urdu语获得了14份翻译，而在(S4)中便在介绍如果通过建立恰当的模型以便从这14份中找出最佳的一份。

作者在(S4.1)中介绍了一些features（分为三类）：

 

类别	Feature名称	描述
Sentence-level	Language model features	一种判断句子质量高低的属性，具体不太清楚 (use a 5-gram language model trained on the English Gigaword corpus)
Sentence-level	Sentence length features	质量高的句子长度应该适中
Sentence-level	Web n-gram match percentage	一种根据n-gram百分比来给句子打分的方法，具体不太清楚(使用了Google N-Gram Database)
Sentence-level	Web n-gram geometric average	一种根据n-gram匹配百分比来给句子进行打分的方法，具体不太清楚
Sentence-level	Edit rate to other translations	edit rate distance from the other translation(使用了TER metric)
Worker-level	Aggregate features	该worker所有translation的sentence-level feature值计算而得
Worker-level	Language abilities	是否母语，使用年限等
Worker-level	Worker location	所在地
Ranking	Average rank	根据ranking label而来
Ranking	Is-Best percentage	根据ranking label而来
Ranking	Is-Better percentage	根据ranking label而来

打分的函数方法是这样定义的：

其中f(ti,j)是上面定义的feature，w是权重向量, (S4.2)介绍如何调试出较优的权重值(使用了"linear search method of Och")。这个打分方法算是一种多属性决策方法吧，比较容易理解。

4.  其他可关注的信息
(S1)中提到了SMT(Statistical Machine Translation)，对于有大量配对语句的语言来说，这种翻译技术会比较有效。
(S2)中提到mTurks上的一个不足之处是不能提供Turkers的个人背景（比如教育背景、母语等信息）。