中文分词组件免费版

中英文分词组件。完全C#托管代码编写,独立开发。

技术特点
=========

1. 识别率接近90%。

虽然和专业分词系统相比有一定的差距,但对于搜索引擎等小型分词需求而言足够了。

2. 多元歧义自动识别。

对于前后歧义有较好的识别效果。
如:
长春市长春节致词 -- 长春/市长/春节/致词/
长春市长春药店 -- 长春市/长春/药店

3. 常用及敏感词过滤功能。

通过一个简单的属性设置就可以完成针对常用词、标点和敏感词汇的过滤。系统内置了常用无意字词和标点的过滤。当然针对文章等分词时可以屏蔽过滤功能。

4. 控制符过滤功能。

可以设置属性值,在分词结果中保留回车换行等控制字符,从而保留原来的显示结构。

5. 内置10万多条基本词库。

系统内置包含10万多条优选词汇的基本词库,并提供编程接口任意扩充。

6. 全角字符识别能力。

如:IBM和HP都是世界级的PC制造商。-- IBM/和/HP/都/是/世界级/的/PC/制造商/。

7. 轻量级的分词组件,仅1个DLL文件,无需安装注册,发布简便。

代码演示
=========
using Rainsoft.WordSeg;

WordSegV1 seg = new WordSegV1();
string s = seg.Segment("长春市长春节致词" , '/');
Console.WriteLine(s);

相关问题
=========

1. 为什么我创建分词对象会出错?

须安装 Microsoft .NET Framework 1.1 Service Pack 1,否则将出错。
http://www.microsoft.com/downloads/details.aspx?FamilyID=a8f5654f-088e-40b2-bbdb-a83353618b38&DisplayLang=zh-cn

2. 为什么第一次分词时比较慢?

在第一次创建分词对象时,需要花7~15秒左右将数据载入内存。

3. 为什么我创建的自定义分词会丢失?

您必须调用 seg.Words.Save() 方法保存。如果一次添加多个分词,只需在最后调用一次保存方法。

4. 这个组件适合什么样的应用?

这只是个轻量级的组件,和专业分词系统相比,功能和准确性都不是很完善,建议用于搜索引擎等
需要简单分词应用的环境。

5. 免费版有什么限制?

免费版具备所有基本功能,但分词算法和分词库无法定制,而且不提供升级和技术支持服务。另外,
仅供个人免费试用,不要应用于商业环境。

下载分词演示程序
下载免费分词组件

附:V2 版已完成。
下载 V2 演示程序 (RAR, 1.04MB, Microsoft .NET Framework 2.0)

---------------

V3 免费版已经发布。下载

posted on 2009-10-19 08:59  一叶工作室  阅读(611)  评论(0编辑  收藏  举报