基于统计机器翻译的文白对译
本文介绍利用NiuTrans工具进行文白对译的步骤，默认用户已经安装NiuTrans,安装目录为NiuTrans/，以下相对路径基于此目录。
文白对译模型训练步骤分为语料预处理、对齐、翻译模型训练、语言模型训练、参数调整四个阶段。
一、语料预处理
我们拿到的原始数据格式比较杂乱，需要做预处理，最终形成规则的平行语料数据。
语 料预处理包括统一标点符号，删除无关符号，删除段前段后，句前句后空格，分词等阶段。最终形成两个平行文件，暂称为src.txt和tgt.txt两个文 件（若是文白翻译src为文，tgt为白，反之src为白，tgt为文），这两个文件每行一句话（自然句），每句话已经分好词，词语以空格分割开，两个文 件中每行一一对应，因此行数相等。
考虑到文白词语的异意性，句句对齐后的句子分词策略为:白话文为平常的中文分词，文言文为一元分词。
二、对齐
NiuTrans采用第三方工具giza++进行词汇对齐，由于giza++只能进行单向对齐，为了保证对齐结果的准确性，NiuTrans合并了两个方向上的对齐结果，生成了最终的对齐结果供后续步骤使用。
具 体来说，若src==》tgt对齐，giza++会生成一个名为src2tgt.A3.final的结果文件；若tgt==》src对齐，giza++会 生成一个名为tgt2src.A3.final的结果文件；NiuTrans对这两个方向的A3文件进行合并，生成最终的对齐文件 alignment.txt。
以上的对齐步骤可参看脚本代码scripts/NiuTrans-running-GIZA++.pl。
需要特别注意的是，giza++ 进行单向对齐时，如果源/目标句对的长度（分词后词汇个数）相差太大，giza++会对长的一方进行剪切，而在另一个方向目标/源对齐时，并不一定进行剪 切。这样就造成了在两个对齐结果文件src2tgt.A3.final和tgt2src.A3.final的不一致。这个不一致将会造成NiuTrans 在合并生成alignment.txt时发生错误直接退出。这种错误只跟源/目标的长度比有关，与具体哪种语言无关。因此本文题目虽然是《文白对译步骤》，其实是所有语言通用的步骤。因此，直接运行脚本scripts/NiuTrans-running-GIZA++.pl，在第八步之后会出现错误退出，导致训练失败。
解决方法为：在第七步之后，第八步之前，遍历src2tgt.A3.final和tgt2src.A3.final两个文件，将不一致的句对从两个A3文件中剔除，同时也从两个平行语料文件中剔除。
遍历算法很简单，首先看下A3文件的格式：
# Sentence pair (20) source length 11 target length 13 alignment score : 1.14927e-38
智果 便 向 太史 请求 脱离 智族 姓氏 ， 另 立 为辅 氏
NULL ({ 2 }) 智 ({ }) 果 ({ 1 5 6 7 8 }) 别 ({ 10 }) 族 ({ }) 于 ({ 3 }) 太 ({ 4 }) 史 ({ }) ， ({ 9 }) 为 ({ }) 辅 ({ 11 12 }) 氏 ({ 13 })
上面摘录的是一个句子对的对齐结果。第一行为句对描述，第二行为目标句子内容，第三行为对齐结果。【Sentence pair (20)】表示为第20个句对，source length 11表示源句长度为11，target length 13表示目标句子长度为13。遍历两个A3文件中的每个pair（三行），检查若第一个文件中的source length与第二个文件中的target length相等，且第一个文件中的target length和第二个文件中的source length 相等，说明该句对是一致的，否则不一致，把该句对从两个A3文件和平行文件中剔除。
处理代码粘贴如下：
# -*- coding: utf-8 -*-
'''
Created on 2014年8月25日
@author: wuseguang
'''
import sys
import re
print "脚本名：", sys.argv[0]
if(len(sys.argv)!=5):
print "参数不对"
sys.exit()
src=sys.argv[1]
tgt=sys.argv[2]
srcs=sys.argv[3]
tgts=sys.argv[4]
errPairs=[]
with open(src,'r') as srcFile,open(tgt,'r')as tgtFile,open(src+'.check','w')as srcw,open(tgt+'.check','w')as tgtw:
index=-1
pair=0
flag=True
while True:
index+=1
print index
srcLine=srcFile.readline()
tgtLine=tgtFile.readline()
if not srcLine or not tgtLine:
break
if index%3!=0 or not srcLine.startswith("# Sentence pair"):
if flag:
srcw.write(srcLine)
tgtw.write(tgtLine)
continue
srcData=re.split('\D+',srcLine)
tgtData=re.split('\D+',tgtLine)
#print srcData
#print tgtData
if srcData[2]!=tgtData[3] or srcData[3]!=tgtData[2]:
errPairs.append(index/3+1)
flag=False
continue
pair+=1
flag=True
oldtitle="# Sentence pair ("+srcData[1]+")"
newtitle='# Sentence pair ('+str(pair)+')'
print oldtitle
print newtitle
srcw.write(srcLine.replace(oldtitle,newtitle))
tgtw.write(tgtLine.replace(oldtitle,newtitle))
with open(srcs,'r') as srcsfile,open(tgts,'r') as tgtsfile,open(srcs+'.check','w')as srcw,open(tgts+'.check','w')as tgtw:
pair=0
errSet=set(errPairs)
#print srcs+'\n'
#print tgts+'\n'
while True:
pair+=1
#print 'pair:',pair
srcline=srcsfile.readline()
tgtline=tgtsfile.readline()
if not srcline or not tgtline:
break
if pair in errSet:
continue
srcw.write(srcline)
tgtw.write(tgtline)
print errPairs
print len(errPairs)
请将该文件放置于scripts目录下。后续脚本会自助调用。
然后，注释掉scripts/NiuTrans-running-GIZA++.pl脚本中的第八步的代码。在调用scripts/NiuTrans-running-GIZA++.pl脚本之后，调用check.py进行一致性检查，最后调用NiuTrans的合并对齐命令../bin/NiuTrans.SymAlignment。
三、翻译模型训练
在上一步对齐的结果alignment.txt上，进行翻译模型的训练，训练命令为：
perl NiuTrans-phrase-train-model.pl -tmdir $workDir/model.phrase/ -s $srcFile -t $tgtFile -a $aligFile |
-s指向源平行语料文件，-t指向目标平行语料文件，-a指向alignment.txt文件。
四、语言模型训练
语言模型检查目标语言的合法度，因此训练语料只需用目标语言语料即可，格式跟平行语料格式一样，即每行一句，没句以空格分词。训练命令如下：
perl NiuTrans-training-ngram-LM.pl -corpus $lmodelFile -ngram 3 -vocab $workDir/lm/lm.vocab -lmbin $workDir/lm/lm.trie.data |
lmodelFile即为训练语料文件，惯例以lm.txt命名。
五、参数调整
参数调整阶段，对上面训练的两个模型（翻译模型和语言模型）进行权重的调整，其实质是把这两个模型作为两个feature，然后套如特征模型。
训练命令如下：
perl NiuTrans-phrase-generate-mert-config.pl -tmdir $workDir/model.phrase/ -lmdir $workDir/lm/ -ngram 3 -o $workDir/NiuTrans.phrase.user.config |
六、总流程小结
为了操作方便，以上的所有流程我写成到了一个总脚本中，名为train.sh放置在script目录下。内容如下：
1 #!/bin/sh 2 scriptDir=$(realpath $PWD) 3 workDir=$(realpath $1) 4 srcFile=${workDir}/preprocessing/$2 5 tgtFile=${workDir}/preprocessing/$3 6 lmodelFile=${workDir}/preprocessing/$4 7 aligFile=$workDir/wordalignment/alignment.txt 8 src2tgtA3File=$workDir/wordalignment/src2tgt.A3.final 9 tgt2srcA3File=$workDir/wordalignment/tgt2src.A3.final 10 echo "script_dir is ${scriptDir}" 11 echo "work_dir is $workDir" 12 echo "src_file is ${srcFile}" 13 echo "tgt_file is ${tgtFile}" 14 echo "alignFile is $aligFile" 15 #exit 16 mkdir $workDir/wordalignment -p 17 mkdir $workDir/lm -p 18 mkdir $workDir/model.phrase -p 19 #exit 20 cd $scriptDir 21 perl NiuTrans-running-GIZA++.pl -src $srcFile -tgt $tgtFile -out $aligFile -tmpdir $workDir/wordalignment/ 22 cd $scriptDir 23 python $scriptDir/check.py $src2tgtA3File $tgt2srcA3File $srcFile $tgtFile 24 src2tgtA3File=${src2tgtA3File}.check 25 tgt2srcA3File=${tgt2srcA3File}.check 26 srcFile=${srcFile}.check 27 tgtFile=${tgtFile}.check 28 cd $scriptDir 29 ../bin/NiuTrans.SymAlignment $tgt2srcA3File $src2tgtA3File $aligFile 30 cd $scriptDir 31 perl NiuTrans-phrase-train-model.pl -tmdir $workDir/model.phrase/ -s $srcFile -t $tgtFile -a $aligFile 32 cd $scriptDir 33 perl NiuTrans-training-ngram-LM.pl -corpus $lmodelFile -ngram 3 -vocab $workDir/lm/lm.vocab -lmbin $workDir/lm/lm.trie.data 34 cd $scriptDir 35 perl NiuTrans-phrase-generate-mert-config.pl -tmdir $workDir/model.phrase/ -lmdir $workDir/lm/ -ngram 3 -o $workDir/NiuTrans.phrase.user.config
脚本的内容已经非常清晰，不再详述。
运行此脚本的前提为：1、NiuTrans-running-GIZA++.pl脚本中第八步已经被注释；2、check.py已经放置在scripts文件夹下。
运行示例：(wenyan.txt baihua.txt位于../work/preprocessing/目录)
./train.sh ../work/ wenyan.txt baihua.txt lm2.txt |
七、测试
在模型训练完毕后，即可进行测试。首先需要具备测试文件test.txt，测试文件格式与平行文件格式一样，与训练语料保持无交集即可。测试命令如下：
perl NiuTrans-phrase-decoder-model.pl -test $workDir/test/test.txt -c $workDir/NiuTrans.phrase.user.config -output $workDir/test/Xbest.out |
-test指明测试文件位置，-c指明上一步训练的模型配置文件位置，-output 指明翻译结果文件位置。
注意，若需要指明多个翻译结果，需要修改脚本NiuTrans-phrase-decoder-model.pl第56行的-nbest参数，默认为1。
