如何在Lucene.Net中一个Document使用不同的分词（一）

这是在博客园Lucene.Net小组看到的一个问题。呵呵，尝试用以下方法解决。
说明：代码没有经过测试。


在Lucene.Net中一个Document对象创建并不涉及到分词，分词是跟IndexWriter相关的。

以类库自带的StandardAnalyzer分词举例，创建一个索引的过程如下

/* 实例化写入 */
IndexWriter writer = new IndexWriter(new Lucene.Net.Analysis.Standard.StandardAnalyzer(),true);
/* 建立文档 */
Document doc = new Document();
doc.Add(new Field("id", "123", Field.Store.YES, Field.Index.TOKENIZED));
doc.Add(new Field("title", "这个是标题", Field.Store.YES, Field.Index.TOKENIZED));
doc.Add(new Field("content", "这个是内容", Field.Store.YES, Field.Index.TOKENIZED));
/*  写入文档 */
writer.AddDocument(doc);
/* 优化索引结构 */
writer.Optimize();
/* 关闭写入 */
writer.Close();

在这样的代码里想一个文档不同字段使用不同分词是不可能的。如果要让每个字段使用不同分词，那么当然是给每个字段加上分词器属性。

先找到Lucene.Net的Field类，发现Field类的字段是继承自AbstractField父类的。在AbstractField先加上
protected internal Analysis.Analyzer analyzer;

然后增加一个构造函数：

        protected internal AbstractField(string name, Field.Store store, Field.Index index, Field.TermVector termVector, Analysis.Analyzer analyzer)
            : this(name, store, index, termVector)
        {
            this.analyzer = analyzer;
        }

在Field类增加构造函数：

        public Field(System.String name, System.String value_Renamed, Store store, Index index, TermVector termVector, Analysis.Analyzer analyzer)
            : base(value_Renamed, store, index, termVector, analyzer)
        {

        }

在接口Fieldable中增加方法GetAnalyzer;
Analysis.Analyzer GetAnalyzer();


并且在AbstractField类中实现GetAnalyzer方法：

        public virtual Analysis.Analyzer GetAnalyzer()
        {
            return this.analyzer;
        }

修改DocumentWriter类的 179行 ，如果因为版本不一样不在179行，请查找
“TokenStream stream = analyzer.TokenStream(fieldName, reader);”

然后换成

TokenStream stream = field.GetAnalyzer().TokenStream(fieldName, reader);

OK，写入的部分搞定了，读取的部分明天再弄。

现在就可以这么用了：

/* 实例化写入 */
IndexWriter writer = new IndexWriter(new Lucene.Net.Analysis.Standard.StandardAnalyzer(),true);
/* 建立文档 */
Document doc = new Document();
doc.Add(new Field("id", "123", Field.Store.YES, Field.Index.TOKENIZED, Field.TermVector.NO, new Lucene.Net.Analysis.KeywordAnalyzer()));
doc.Add(new Field("title", "这个是标题", Field.Store.YES, Field.Index.TOKENIZED, Field.TermVector.NO, new Lucene.Net.Analysis.Standard.StandardAnalyzer()));
doc.Add(new Field("content","这个是内容", Field.Store.YES, Field.Index.TOKENIZED, Field.TermVector.NO, new Lucene.Net.Analysis.SimpleAnalyzer()));
/*  写入文档 */
writer.AddDocument(doc);
/* 优化索引结构 */
writer.Optimize();
/* 关闭写入 */
writer.Close();

当然，这个时候，IndexWriter 的分词器实际上是无用的，也可以判定Field给定的分词器是否为null，然后用IndexWriter 的作为默认分词器。

by yurow @ http://www.cnblogs.com/birdshover/

更新第二部分地址：如何在Lucene.Net中一个Document使用不同的分词（二）