paip.提升中文分词准确度---新词识别
paip.提升中文分词准确度---新词识别
近来,中文每年大概出现800---1仟个新的词..
60％的分词错误是由新词导致的
作者Attilax 艾龙， EMAIL:1466519819@qq.com
来源：attilax的专栏
地址：http://blog.csdn.net/attilax
新词的概念
目前，在中文分词领域出现了新词（New Words）和未登录词(Unknown Words)两种概念。很多研究者并没有对未登录词和新词加以区别，认为它们是一样的[12][13]。通常，未登录词被定义为未在词典中出现的词[3][4][5]。(Chen,1997)通过对一个规模为300万词汇的语料统计，将未登录词分为五种类别，包括
(a) 缩略词(abbreviation)，如“中油”、“日韩”；
(b) 专有名词(Proper names)，主要包括人名、地名、机构名。如“张三”、“北京”、“微软”；
(c) 派生词(derived words)，主要指含有后缀词素的词，如“电脑化”；
(d) 复合词(compounds)，由动词或名词等组合而成，如“获允”、“搜寻法”、“电脑桌”；
(e) 数字类复合词(numeric type compounds)，即组成成分中含有数字，包括时间、日期、电话号码、地址、数字等，如“2005年”、“三千”。
新词的识别方法.
1.基与规则::::通过构词，前缀,后缀(词边界),词形,编写规则
....化,....族
大概准确录90%
2.基与统计方法.
俩个/三个 相邻单字 的频率....大概准确录88%
3.基与搜索引擎
这个准确度非常高.. 几乎95%了...
bg str feodg se hetu,auto pop ...yaos chwlai ,shg word...beir, bsd ..
4.单字构词能力以及频率.
词素级的判断...
5.基与sns。。类似于智能+人工
这个也能是准确度非常高，近乎100% ...因为是人工反馈。。。
/////////垃圾串过滤
能预先界定垃圾串词库..到时过滤..
垃圾串词库的建立也能使用搜索引擎增强判断..
参考:
中文新词识别技术综述_免费下载_百度文库.htm
【论文】Internet中的新词识别_百度文库.htm
【论文】基于词内部模式的新词识别_百度文库.htm
关于新词识别的 - 豆丁网.htm （20个后缀）
【论文】不限领域的中文新词的识别研究_百度文库.htm
新词发现综述_免费下载_百度文库.htm
近来,中文每年大概出现800---1仟个新的词..
60％的分词错误是由新词导致的
作者Attilax 艾龙， EMAIL:1466519819@qq.com
来源：attilax的专栏
地址：http://blog.csdn.net/attilax
新词的概念
目前，在中文分词领域出现了新词（New Words）和未登录词(Unknown Words)两种概念。很多研究者并没有对未登录词和新词加以区别，认为它们是一样的[12][13]。通常，未登录词被定义为未在词典中出现的词[3][4][5]。(Chen,1997)通过对一个规模为300万词汇的语料统计，将未登录词分为五种类别，包括
(a) 缩略词(abbreviation)，如“中油”、“日韩”；
(b) 专有名词(Proper names)，主要包括人名、地名、机构名。如“张三”、“北京”、“微软”；
(c) 派生词(derived words)，主要指含有后缀词素的词，如“电脑化”；
(d) 复合词(compounds)，由动词或名词等组合而成，如“获允”、“搜寻法”、“电脑桌”；
(e) 数字类复合词(numeric type compounds)，即组成成分中含有数字，包括时间、日期、电话号码、地址、数字等，如“2005年”、“三千”。
新词的识别方法.
1.基与规则::::通过构词，前缀,后缀(词边界),词形,编写规则
....化,....族
大概准确录90%
2.基与统计方法.
俩个/三个 相邻单字 的频率....大概准确录88%
3.基与搜索引擎
这个准确度非常高.. 几乎95%了...
bg str feodg se hetu,auto pop ...yaos chwlai ,shg word...beir, bsd ..
4.单字构词能力以及频率.
词素级的判断...
5.基与sns。。类似于智能+人工
这个也能是准确度非常高，近乎100% ...因为是人工反馈。。。
/////////垃圾串过滤
能预先界定垃圾串词库..到时过滤..
垃圾串词库的建立也能使用搜索引擎增强判断..
参考:
中文新词识别技术综述_免费下载_百度文库.htm
【论文】Internet中的新词识别_百度文库.htm
【论文】基于词内部模式的新词识别_百度文库.htm
关于新词识别的 - 豆丁网.htm （20个后缀）
【论文】不限领域的中文新词的识别研究_百度文库.htm
新词发现综述_免费下载_百度文库.htm
