（转）OpenNLP进行中文命名实体识别（上：预处理及训练模型）

原文地址：http://blog.csdn.net/qdhy199148/article/details/51038637

OpenNLP是Apach下的Java自然语言处理API，功能齐全，但是网上似乎能找到的用于处理中文的资料很少。

正好前段时间面试遇到一个做命名实体识别的任务考题，这里来给大家介绍一下使用OpenNLP进行中文语料命名实体识别的过程。

首先是预处理工作，分词去听用词等等的就不啰嗦了，其实将分词的结果中间加上空格隔开就可以了，OpenNLP可以将这样形式的的语料照处理英文的方式处理，有些关于字符处理的注意点在后面会提到。

首先我们要准备各个命名实体类别所对应的词库，词库被存在文本文档中，文档名即是命名实体类别的TypeName，下面两个function分别是载入某类命名实体词库中的词和载入命名实体的类别。

 

[java] view plain copy
 
 在CODE上查看代码片派生到我的代码片
  1. /** 
  2.      * 载入词库中的命名实体 
  3.      *  
  4.      * @param nameListFile 
  5.      * @return 
  6.      * @throws Exception 
  7.      */  
  8.     public static List<String> loadNameWords(File nameListFile)  
  9.             throws Exception {  
  10.         List<String> nameWords = new ArrayList<String>();  
  11.   
  12.         if (!nameListFile.exists() || nameListFile.isDirectory()) {  
  13.             System.err.println("不存在那个文件");  
  14.             return null;  
  15.         }  
  16.   
  17.         BufferedReader br = new BufferedReader(new FileReader(nameListFile));  
  18.         String line = null;  
  19.         while ((line = br.readLine()) != null) {  
  20.             nameWords.add(line);  
  21.         }  
  22.   
  23.         br.close();  
  24.   
  25.         return nameWords;  
  26.     }  
  27.   
  28.     /** 
  29.      * 获取命名实体类型 
  30.      *  
  31.      * @param nameListFile 
  32.      * @return 
  33.      */  
  34.     public static String getNameType(File nameListFile) {  
  35.         String nameType = nameListFile.getName();  
  36.   
  37.         return nameType.substring(0, nameType.lastIndexOf("."));  
  38.     }  

因为OpenNLP要求的训练语料是这样子的：

 

[html] view plain copy
 
 在CODE上查看代码片派生到我的代码片
  1. XXXXXX<START:Person>????<END>XXXXXXXXX<START:Action>????<END>XXXXXXX  

很容易看出，被标注的命名实体被放在<START><END>范围中，并标出了实体的类别。

 

接下来是对命名实体识别模型的训练，先上代码：

 

[java] view plain copy
 
 在CODE上查看代码片派生到我的代码片
  1. import java.io.File;  
  2. import java.io.FileOutputStream;  
  3. import java.io.IOException;  
  4. import java.io.StringReader;  
  5. import java.util.Collections;  
  6.   
  7. import opennlp.tools.namefind.NameFinderME;  
  8. import opennlp.tools.namefind.NameSample;  
  9. import opennlp.tools.namefind.NameSampleDataStream;  
  10. import opennlp.tools.namefind.TokenNameFinderModel;  
  11. import opennlp.tools.util.ObjectStream;  
  12. import opennlp.tools.util.PlainTextByLineStream;  
  13. import opennlp.tools.util.featuregen.AggregatedFeatureGenerator;  
  14. import opennlp.tools.util.featuregen.PreviousMapFeatureGenerator;  
  15. import opennlp.tools.util.featuregen.TokenClassFeatureGenerator;  
  16. import opennlp.tools.util.featuregen.TokenFeatureGenerator;  
  17. import opennlp.tools.util.featuregen.WindowFeatureGenerator;  
  18.   
  19. /** 
  20.  * 中文命名实体识别模型训练组件 
  21.  *  
  22.  * @author ddlovehy 
  23.  * 
  24.  */  
  25. public class NamedEntityMultiFindTrainer {  
  26.   
  27.     // 默认参数  
  28.     private int iterations = 80;  
  29.     private int cutoff = 5;  
  30.     private String langCode = "general";  
  31.     private String type = "default";  
  32.   
  33.     // 待设定的参数  
  34.     private String nameWordsPath; // 命名实体词库路径  
  35.     private String dataPath; // 训练集已分词语料路径  
  36.     private String modelPath; // 模型存储路径  
  37.   
  38.     public NamedEntityMultiFindTrainer() {  
  39.         super();  
  40.         // TODO Auto-generated constructor stub  
  41.     }  
  42.   
  43.     public NamedEntityMultiFindTrainer(String nameWordsPath, String dataPath,  
  44.             String modelPath) {  
  45.         super();  
  46.         this.nameWordsPath = nameWordsPath;  
  47.         this.dataPath = dataPath;  
  48.         this.modelPath = modelPath;  
  49.     }  
  50.   
  51.     public NamedEntityMultiFindTrainer(int iterations, int cutoff,  
  52.             String langCode, String type, String nameWordsPath,  
  53.             String dataPath, String modelPath) {  
  54.         super();  
  55.         this.iterations = iterations;  
  56.         this.cutoff = cutoff;  
  57.         this.langCode = langCode;  
  58.         this.type = type;  
  59.         this.nameWordsPath = nameWordsPath;  
  60.         this.dataPath = dataPath;  
  61.         this.modelPath = modelPath;  
  62.     }  
  63.   
  64.     /** 
  65.      * 生成定制特征 
  66.      *  
  67.      * @return 
  68.      */  
  69.     public AggregatedFeatureGenerator prodFeatureGenerators() {  
  70.         AggregatedFeatureGenerator featureGenerators = new AggregatedFeatureGenerator(  
  71.                 new WindowFeatureGenerator(new TokenFeatureGenerator(), 2, 2),  
  72.                 new WindowFeatureGenerator(new TokenClassFeatureGenerator(), 2,  
  73.                         2), new PreviousMapFeatureGenerator());  
  74.   
  75.         return featureGenerators;  
  76.     }  
  77.   
  78.     /** 
  79.      * 将模型写入磁盘 
  80.      *  
  81.      * @param model 
  82.      * @throws Exception 
  83.      */  
  84.     public void writeModelIntoDisk(TokenNameFinderModel model) throws Exception {  
  85.         File outModelFile = new File(this.getModelPath());  
  86.         FileOutputStream outModelStream = new FileOutputStream(outModelFile);  
  87.         model.serialize(outModelStream);  
  88.     }  
  89.   
  90.     /** 
  91.      * 读出标注的训练语料 
  92.      *  
  93.      * @return 
  94.      * @throws Exception 
  95.      */  
  96.     public String getTrainCorpusDataStr() throws Exception {  
  97.   
  98.         // TODO 考虑入持久化判断直接载入标注数据的情况 以及增量式训练  
  99.   
  100.         String trainDataStr = null;  
  101.         trainDataStr = NameEntityTextFactory.prodNameFindTrainText(  
  102.                 this.getNameWordsPath(), this.getDataPath(), null);  
  103.   
  104.         return trainDataStr;  
  105.     }  
  106.   
  107.     /** 
  108.      * 训练模型 
  109.      *  
  110.      * @param trainDataStr 
  111.      *            已标注的训练数据整体字符串 
  112.      * @return 
  113.      * @throws Exception 
  114.      */  
  115.     public TokenNameFinderModel trainNameEntitySamples(String trainDataStr)  
  116.             throws Exception {  
  117.         ObjectStream<NameSample> nameEntitySample = new NameSampleDataStream(  
  118.                 new PlainTextByLineStream(new StringReader(trainDataStr)));  
  119.           
  120.         System.out.println("**************************************");  
  121.         System.out.println(trainDataStr);  
  122.   
  123.         TokenNameFinderModel nameFinderModel = NameFinderME.train(  
  124.                 this.getLangCode(), this.getType(), nameEntitySample,  
  125.                 this.prodFeatureGenerators(),  
  126.                 Collections.<String, Object> emptyMap(), this.getIterations(),  
  127.                 this.getCutoff());  
  128.   
  129.         return nameFinderModel;  
  130.     }  
  131.   
  132.     /** 
  133.      * 训练组件总调用方法 
  134.      *  
  135.      * @return 
  136.      */  
  137.     public boolean execNameFindTrainer() {  
  138.   
  139.         try {  
  140.             String trainDataStr = this.getTrainCorpusDataStr();  
  141.             TokenNameFinderModel nameFinderModel = this  
  142.                     .trainNameEntitySamples(trainDataStr);  
  143.             // System.out.println(nameFinderModel);  
  144.             this.writeModelIntoDisk(nameFinderModel);  
  145.   
  146.             return true;  
  147.         } catch (Exception e) {  
  148.             // TODO Auto-generated catch block  
  149.             e.printStackTrace();  
  150.   
  151.             return false;  
  152.         }  
  153.     }  
  154. ｝  

有几个说明的地方，首先是参数，iterations是训练算法迭代的次数，太少了起不到训练的效果，太大了会造成过拟合，所以各位可以自己试试效果；cutoff是语言模型扫描窗口的大小，一般设成5就可以了，当然越大效果越好，时间可能会受不了；还有就是langCode语种代码和type实体类别，因为没有专门针对中文的代码，设成“普通”的即可，实体的类别因为我们想训练成能识别多种实体的模型，于是设置为“默认”。

代码中每个函数都配有注释，稍微有点编程基础的人肯定能看懂。需要说明一下的两个方法是：1.prodFeatureGenerators()方法用于生成个人订制的特征生成器，其意义在于选择什么样的n-gram语义模型，代码当中显示的是选择窗口大小为5，待测命名实体词前后各扫描两个词的范围计算特征（加上自己就是5个），或许有更深更准确的意义，请大家指正；2.就是训练模型的核心方法trainNameEntitySamples()，首先是将如上标注的训练语料字符串传入生成字符流，再通过NameFinderME的train()方法传入上面设定的各个参数，订制特征生成器等等，关于源实体映射对，就按默认传入空Map就好了。

返回训练得到的模型，可以写到磁盘上，形成二进制bin文件。

源代码开源在：https://github.com/Ailab403/ailab-mltk4j，test包里面对应有完整的调用demo，以及file文件夹里面的测试语料和已经训练好的模型。

posted @ 2016-04-06 19:31  mansiisnam  阅读(1492)  评论(0)    收藏  举报