博客园-First we try, then we trusthttp://www.cnblogs.com/zhenyulu/zh-cnWed, 10 Feb 2010 08:22:52 GMTWed, 10 Feb 2010 08:22:52 GMT60SharpICTCLAS 1.0 发布!http://www.cnblogs.com/zhenyulu/archive/2007/04/18/718383.html吕震宇吕震宇Wed, 18 Apr 2007 07:52:00 GMThttp://www.cnblogs.com/zhenyulu/archive/2007/04/18/718383.html阅读: 11672 评论: 79 作者: 吕震宇 发表于 2007-04-18 15:52 原文链接

SharpICTCLAS 1.0 发布 （感谢工控网发现了一个问题，问题出在字符串比较上，目前已经修正，请重新下载。2007年4月20日）

　

一、SharpICTCLAS 1.0 版相对于测试版的改进

1、修改了原子分词代码，使得对于全角字母有较好的识别

2、修改了部分词性标注部分的代码

因为词性标注部分的代码存在问题（应当是从ICTCLAS就存在的问题），主要表现在如果某个汉字没有词性，则在词性标注时会出现异常。例如：“这些是永远也没有现成的答桉的”其中“答案”写错了，当对这个有错别字的句子分词时，“桉”字是没有词性的，程序在此时将出现错误。

目前的解决办法是对于这些没有词性的词在最终标注时标注为“字符串”。

2、修改了地名识别的一些问题

这个问题出现在Span类的PlaceRecognize方法中，nStart与nEnd在某些时候会计算错误。在测试版SharpICTCLAS中，句子“明定陵是明十三陵中第十座陵墓”在分词时会因为这个问题导致异常。

3、修改了基于CCID的字符串比较代码

原有代码没有很好考虑对全角、半角混合字符串的比较问题，现在修正过来了。

4、修改了向词库添加词汇的代码

原有代码存在错误，现在改正了过来。

二、仍然有待改进的地方

现在的程序仍然有很多地方有待改进，例如原子分词部分的代码对电子邮件、URL等识别还不是很好，日后可利用正则表达式加以改进；除此之外，对于词性标注以及人名地名识别部分代码 ，我除了修改了部分问题代码外，没有做任何改进和调整，这使得整个代码显得凌乱，有待做一次全面重构。

三、SharpICTCLAS使用时的一些示例代码

为了能够更好的使用SharpICTCLAS，现提供一些示例代码，主要完成的工作包括：1）向词库中添加新词汇；2）对文件的预处理，实现繁体向简体的转换、全角字符向半角字符的转换、利用正则表达式过滤多余HTML标记以及断句等。具体可以访问我的文章《SharpICTCLAS分词系统简介(9)词库扩充》。

目前经过调整后的SharpICTCLAS运行效果还算不错。在对博客园一万五千篇文章进行分词测试过程中，向词库中添加了一千三百多个词汇然后进行分词，效果还不错， 分词异常一共发生了15次，其中有9处是因为存在大量日文字符，另外6处是一句话中单词过多，超出了软件限制（200词）。分词效率也比较令人满意（尽管总体还是比较慢），15000篇文章总用时2.5小时，但这不只是分词的时间，还包括了繁体转简体、利用正则表达式去掉HTML符号，统计词频（这需要进行重复词的判别，我使用了AVL树 ，共统计得到16万词汇）、将分词结果写入SQL Server 2005数据库。如果不考虑这些因素的话，感觉应当和C＋＋程序效率差不多，当然这是没有经过严格测试的结论。

如果大家在使用时发现什么新问题，还请及时告知，我会继续修正这些问题。

　

　

  • ICTCLAS简介：

计算所汉语词法分析系统ICTCLAS（Institute of Computing Technology, Chinese Lexical Analysis System），功能有：中文分词；词性标注；未登录词识别。分词正确率高达97.58%(973专家评测结果)，未登录词识别召回率均高于90%，其中中国人名的识别召回率接近98%;处理速度为31.5Kbytes/s。

著作权： Copyright(c)2002-2005中科院计算所 职务著作权人：张华平

遵循协议：自然语言处理开放资源许可证1.0

Email: zhanghp@software.ict.ac.cn

Homepage: http://www.i3s.ac.cn

　

  • SharpICTCLAS：

.net平台下的ICTCLAS，是由河北理工大学经管学院吕震宇根据Free版ICTCLAS改编而成，并对原有代码做了部分重写与调整。

Email: zhenyulu@163.com

Blog: http://www.cnblogs.com/zhenyulu

　

评论: 79　查看评论　发表评论

最新新闻：
· NDepend 3.0已与Visual Studio集成(2010-02-10 16:17)
· Ruby in Steel 1.5发布，去除IronRuby支持(2010-02-10 16:14)
· 淘宝网通过索引模式涉足网络文学(2010-02-10 15:59)
· 苹果发布 iPhone/iPad SDK 3.2 beta2 开发包(2010-02-10 15:37)
· “谷姐”：披着“谷歌”羊皮的悲哀？(2010-02-10 15:32)

编辑推荐：Google Buzz相关新闻

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

]]>SharpICTCLAS（测试版）发布了http://www.cnblogs.com/zhenyulu/archive/2007/03/15/675756.html吕震宇吕震宇Thu, 15 Mar 2007 04:52:00 GMThttp://www.cnblogs.com/zhenyulu/archive/2007/03/15/675756.html阅读: 16160 评论: 41 作者: 吕震宇 发表于 2007-03-15 12:52 原文链接

SharpICTCLAS（测试版）发布了！

　

本版本尚未经过大规模分词测试，存在问题在所难免，如果有什么问题可以将出现问题的句子贴出来，我会尽快改进并发布新的版本。

　

  • ICTCLAS简介：

计算所汉语词法分析系统ICTCLAS（Institute of Computing Technology, Chinese Lexical Analysis System），功能有：中文分词；词性标注；未登录词识别。分词正确率高达97.58%(973专家评测结果)，未登录词识别召回率均高于90%，其中中国人名的识别召回率接近98%;处理速度为31.5Kbytes/s。

著作权： Copyright(c)2002-2005中科院计算所 职务著作权人：张华平

遵循协议：自然语言处理开放资源许可证1.0

Email: zhanghp@software.ict.ac.cn

Homepage: http://www.i3s.ac.cn

　

  • SharpICTCLAS：

.net平台下的ICTCLAS，是由河北理工大学经管学院吕震宇根据Free版ICTCLAS改编而成，并对原有代码做了部分重写与调整。

Email: zhenyulu@163.com

Blog: http://www.cnblogs.com/zhenyulu

　

评论: 41　查看评论　发表评论

最新新闻：
· NDepend 3.0已与Visual Studio集成(2010-02-10 16:17)
· Ruby in Steel 1.5发布，去除IronRuby支持(2010-02-10 16:14)
· 淘宝网通过索引模式涉足网络文学(2010-02-10 15:59)
· 苹果发布 iPhone/iPad SDK 3.2 beta2 开发包(2010-02-10 15:37)
· “谷姐”：披着“谷歌”羊皮的悲哀？(2010-02-10 15:32)

编辑推荐：Google Buzz相关新闻

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

]]>SharpICTCLAS分词系统简介(7)(8)http://www.cnblogs.com/zhenyulu/archive/2007/03/14/675224.html吕震宇吕震宇Wed, 14 Mar 2007 15:19:00 GMThttp://www.cnblogs.com/zhenyulu/archive/2007/03/14/675224.html阅读: 4752 评论: 6 作者: 吕震宇 发表于 2007-03-14 23:19 原文链接

具体内容请访问我的文章：

《SharpICTCLAS分词系统简介(7)OptimumSegment》

《SharpICTCLAS分词系统简介(8)其它》

===全文完===

非常高兴在这最后一篇文章写完之时得到了张华平老师的授权。我会尽可能快的将SharpICTCLAS源文件放上来供大家测试使用的。

评论: 6　查看评论　发表评论

最新新闻：
· NDepend 3.0已与Visual Studio集成(2010-02-10 16:17)
· Ruby in Steel 1.5发布，去除IronRuby支持(2010-02-10 16:14)
· 淘宝网通过索引模式涉足网络文学(2010-02-10 15:59)
· 苹果发布 iPhone/iPad SDK 3.2 beta2 开发包(2010-02-10 15:37)
· “谷姐”：披着“谷歌”羊皮的悲哀？(2010-02-10 15:32)

编辑推荐：Google Buzz相关新闻

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

]]>SharpICTCLAS分词系统简介(6)Segmenthttp://www.cnblogs.com/zhenyulu/archive/2007/03/13/673667.html吕震宇吕震宇Tue, 13 Mar 2007 14:38:00 GMThttp://www.cnblogs.com/zhenyulu/archive/2007/03/13/673667.html阅读: 4134 评论: 1 作者: 吕震宇 发表于 2007-03-13 22:38 原文链接

具体内容请访问我的文章

《SharpICTCLAS分词系统简介(6)Segment 》

评论: 1　查看评论　发表评论

最新新闻：
· NDepend 3.0已与Visual Studio集成(2010-02-10 16:17)
· Ruby in Steel 1.5发布，去除IronRuby支持(2010-02-10 16:14)
· 淘宝网通过索引模式涉足网络文学(2010-02-10 15:59)
· 苹果发布 iPhone/iPad SDK 3.2 beta2 开发包(2010-02-10 15:37)
· “谷姐”：披着“谷歌”羊皮的悲哀？(2010-02-10 15:32)

编辑推荐：Google Buzz相关新闻

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

]]>SharpICTCLAS分词系统简介(5)NShortPath-2http://www.cnblogs.com/zhenyulu/archive/2007/03/12/672444.html吕震宇吕震宇Mon, 12 Mar 2007 14:44:00 GMThttp://www.cnblogs.com/zhenyulu/archive/2007/03/12/672444.html阅读: 4472 评论: 3 作者: 吕震宇 发表于 2007-03-12 22:44 原文链接

具体内容请访问我的文章

《SharpICTCLAS分词系统简介(5)NShortPath-2 》

评论: 3　查看评论　发表评论

最新新闻：
· NDepend 3.0已与Visual Studio集成(2010-02-10 16:17)
· Ruby in Steel 1.5发布，去除IronRuby支持(2010-02-10 16:14)
· 淘宝网通过索引模式涉足网络文学(2010-02-10 15:59)
· 苹果发布 iPhone/iPad SDK 3.2 beta2 开发包(2010-02-10 15:37)
· “谷姐”：披着“谷歌”羊皮的悲哀？(2010-02-10 15:32)

编辑推荐：Google Buzz相关新闻

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

]]>SharpICTCLAS分词系统简介(4)NShortPath-1 http://www.cnblogs.com/zhenyulu/archive/2007/03/09/669801.html吕震宇吕震宇Fri, 09 Mar 2007 14:51:00 GMThttp://www.cnblogs.com/zhenyulu/archive/2007/03/09/669801.html阅读: 4613 评论: 1 作者: 吕震宇 发表于 2007-03-09 22:51 原文链接

具体内容请访问我的文章

《SharpICTCLAS分词系统简介(4)NShortPath-1 》

评论: 1　查看评论　发表评论

最新新闻：
· NDepend 3.0已与Visual Studio集成(2010-02-10 16:17)
· Ruby in Steel 1.5发布，去除IronRuby支持(2010-02-10 16:14)
· 淘宝网通过索引模式涉足网络文学(2010-02-10 15:59)
· 苹果发布 iPhone/iPad SDK 3.2 beta2 开发包(2010-02-10 15:37)
· “谷姐”：披着“谷歌”羊皮的悲哀？(2010-02-10 15:32)

编辑推荐：Google Buzz相关新闻

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

]]>SharpICTCLAS分词系统简介(3)DynamicArrayhttp://www.cnblogs.com/zhenyulu/archive/2007/03/09/668843.html吕震宇吕震宇Fri, 09 Mar 2007 01:02:00 GMThttp://www.cnblogs.com/zhenyulu/archive/2007/03/09/668843.html阅读: 4566 评论: 0 作者: 吕震宇 发表于 2007-03-09 09:02 原文链接

具体内容请访问我的文章

《SharpICTCLAS分词系统简介(3)DynamicArray》

评论: 0　查看评论　发表评论

最新新闻：
· NDepend 3.0已与Visual Studio集成(2010-02-10 16:17)
· Ruby in Steel 1.5发布，去除IronRuby支持(2010-02-10 16:14)
· 淘宝网通过索引模式涉足网络文学(2010-02-10 15:59)
· 苹果发布 iPhone/iPad SDK 3.2 beta2 开发包(2010-02-10 15:37)
· “谷姐”：披着“谷歌”羊皮的悲哀？(2010-02-10 15:32)

编辑推荐：Google Buzz相关新闻

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

]]>SharpICTCLAS分词系统简介(1)、(2)http://www.cnblogs.com/zhenyulu/archive/2007/03/08/668046.html吕震宇吕震宇Thu, 08 Mar 2007 06:36:00 GMThttp://www.cnblogs.com/zhenyulu/archive/2007/03/08/668046.html阅读: 5099 评论: 2 作者: 吕震宇 发表于 2007-03-08 14:36 原文链接

具体内容请访问我的文章

《SharpICTCLAS分词系统简介(1)读取词典库》

《SharpICTCLAS分词系统简介(2)初步分词》

评论: 2　查看评论　发表评论

最新新闻：
· NDepend 3.0已与Visual Studio集成(2010-02-10 16:17)
· Ruby in Steel 1.5发布，去除IronRuby支持(2010-02-10 16:14)
· 淘宝网通过索引模式涉足网络文学(2010-02-10 15:59)
· 苹果发布 iPhone/iPad SDK 3.2 beta2 开发包(2010-02-10 15:37)
· “谷姐”：披着“谷歌”羊皮的悲哀？(2010-02-10 15:32)

编辑推荐：Google Buzz相关新闻

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

]]>实现ICTCLAS到C#平台的移植http://www.cnblogs.com/zhenyulu/archive/2007/03/07/667378.html吕震宇吕震宇Wed, 07 Mar 2007 14:45:00 GMThttp://www.cnblogs.com/zhenyulu/archive/2007/03/07/667378.html阅读: 5006 评论: 9 作者: 吕震宇 发表于 2007-03-07 22:45 原文链接

在研究了一段时间中科院计算所张华平、刘群所开发的ICTCLAS分词系统（Free版）代码后，阅读了大量的相关资料，我开始着手将C++的ICTCLAS分词系统移植到.net平台下，并取得了较好的实验结果。这种移植并不容易，在研究了ICTCLAS分词理论的同时还要阅读C++代码实现，其中遇到了很多困惑、迷茫，也不得不重写了一小部分代码，我将在随后的文章中介绍具体实现。

目前除了最后的词性标注部分还没有完全完工外，其它部分已经接近尾声（包括初始切分、N最短路径、人名、地名的识别以及最终优化等）。

部分分词结果以及移植思路请访问我的文章：《实现ICTCLAS到C#平台的移植》

评论: 9　查看评论　发表评论

最新新闻：
· NDepend 3.0已与Visual Studio集成(2010-02-10 16:17)
· Ruby in Steel 1.5发布，去除IronRuby支持(2010-02-10 16:14)
· 淘宝网通过索引模式涉足网络文学(2010-02-10 15:59)
· 苹果发布 iPhone/iPad SDK 3.2 beta2 开发包(2010-02-10 15:37)
· “谷姐”：披着“谷歌”羊皮的悲哀？(2010-02-10 15:32)

编辑推荐：Google Buzz相关新闻

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

]]>天书般的ICTCLAS分词系统代码（二）http://www.cnblogs.com/zhenyulu/archive/2007/02/26/657022.html吕震宇吕震宇Mon, 26 Feb 2007 05:34:00 GMThttp://www.cnblogs.com/zhenyulu/archive/2007/02/26/657022.html阅读: 3519 评论: 4 作者: 吕震宇 发表于 2007-02-26 13:34 原文链接

上篇文章《天书般的ICTCLAS分词系统代码（一）》 说了说ICTCLAS分词系统有些代码让人无所适从，需要好一番努力才能弄明白究竟是怎么回事。尽管有很多人支持应当写简单、清晰的代码，但也有人持不同意见。主要集中在（1）如果效率高，代码复杂点也行； （2）只要注释写得好就行；（3）软件关键在思路（这我同意），就好像买了一台电脑，不管包装箱内的电脑本身怎么，一群人偏在死扣那个外面透明胶带帖歪了（这我坚决不同意，因为只有好思路出不来好电脑，好电脑还要性能稳定，即插即用的好硬件；另外天书般的代码不仅仅是透明胶带 贴歪的问题，他甚至可能意味着电脑中的绝缘胶带失效了...）。

这两天在抓紧学习ICTCLAS分词系统的思路的同时，也在消化学习它的代码实现，然而我看到的代码已经不仅仅是为了效率牺牲代码清晰度的问题了，我看到的是连作者都不知道自己真正想要做什么了......

更多内容请参考我的文章《天书般的ICTCLAS分词系统代码（二）》

评论: 4　查看评论　发表评论

最新新闻：
· NDepend 3.0已与Visual Studio集成(2010-02-10 16:17)
· Ruby in Steel 1.5发布，去除IronRuby支持(2010-02-10 16:14)
· 淘宝网通过索引模式涉足网络文学(2010-02-10 15:59)
· 苹果发布 iPhone/iPad SDK 3.2 beta2 开发包(2010-02-10 15:37)
· “谷姐”：披着“谷歌”羊皮的悲哀？(2010-02-10 15:32)

编辑推荐：Google Buzz相关新闻

网站导航：博客园首页  个人主页  新闻  闪存  小组  博问  社区  知识库

]]>