DotLucene源码浅读笔记(1)补遗:编写简单中文分词器ChineseAnalyzer

原理部分,可以参考DotLucene源码浅读笔记(1) : Lucene.Net.Analysis ,本篇是依据上篇文章的分析,编写出的简单中文分词器(ChineseAnalyzer).
DotLucene源码浅读笔记(1) : Lucene.Net.Analysis可以知道,与分词有关的主要是两个基类:

词法分析器(Analyzer) :词法过滤和分析的类,实际上是对分词器, 过滤器的综合包装类。

分词器(Tokenizer):对文本进行分词,可能是单字,词,二元切分等等。

而最基础的概念是Token,Token是DotLucene最基本的单位,以单字切分则每个单字为一个Token,如果以中文分词来切分则每个词为一个Token,

另外,中文分词器
ChineseAnalyzer并不是中文分词,中文分词器仅仅是对中文分词的结果分析成DotLucene索引器能够认识的格式,

先实现分词器(Tokenizer),代码中用了一个第三方的分词组件做实验.

    /// <summary>
    
/// DotLucene中文分词器
    
/// Author :邝伟科  http://www.cnblogs.com/kwklover
    
/// dated  : 2006/10/24
    
/// </summary>

    public class ChineseTokenizer : Tokenizer
    
{
        
private List<string> ioBuffer;
        
private int offSet = 0 ;    //偏移量.
        private int position = -1 ; //词汇在缓冲中的位置.
        private int length = 0 ;    //词汇的长度.
        private int start = 0 ;     //开始偏移量.

        
public ChineseTokenizer(System.IO.TextReader input)
            : 
base(input)
        
{
            
//这里用了一个第三方的中文分词组件.
            ioBuffer = Sj110.Com.Chinese.Tokenizer.Tokenize(input.ReadToEnd());
        }


        
//DotLucene的分词器简单来说,就是实现Tokenizer的Next方法,把分解出来的每一个词构造为一个Token,因为Token是DotLucene分词的基本单位。
        public override Token Next()
        
{
            position
++;
            
if (position < ioBuffer.Count)
            
{
                length 
= ioBuffer[position].Length;
                start 
= offSet ;
                offSet 
+= length ;
                
return new Token(ioBuffer[position], start, start + length);
            }


            
return null;
        }

    }

中文分析器(Analyzer)代码:
    public class ChineseAnalyzer : Analyzer
    
{
        
public ChineseAnalyzer()
        
{
        }

        
public override TokenStream TokenStream(TextReader reader)
        
{
            TokenStream result 
= new ChineseTokenizer(reader);
            result 
= new LowerCaseFilter(result);
            
//result = new StopFilter(result, stopSet); //你还可以自己编写过滤器。

            
return result;
        }

    }
上面是一个简单的DotLucene的ChineseAnalyzer,算法并不是最优的.主要用于理解如何实现ChineseAnalyzer

文中涉及到的中文分词组件:点此下载 ,中文分词组件版权归原作者所有,此出提供下载是为了大家学习之方便.用于商业目的,请自行联系作者.
posted @ 2006-10-24 01:09 kwklover 阅读(...) 评论(...) 编辑 收藏