分词数据字典下载

2021年9月8日16:33:14

 

使用ElasticSearch ik做分词查询的时候,发现对医药相关的分词并不理想,找了一下相关的字典

搜狗输入法的词典

https://pinyin.sogou.com/dict/

 

比如

https://pinyin.sogou.com/dict/search/search_list/%D2%BD%C1%C6/normal

scel这种二进制格式,如果你需要使用可能需要转换一下格式,要是官方提供json格式或者dic的就更好了

 

还有一些nlp的训练数据比如:

https://github.com/i3ef0xh4ck/the-most-complete-dictionary-ever

https://github.com/fighting41love/funNLP

注意最好,转移到gitee,文件库比较大

gitee镜像

https://gitee.com/open-php/funNLP

https://gitee.com/open-php/the-most-complete-dictionary-ever

 

会不定期同步,如果发现还有其他新资源,我也会更新博文的

 

QQ一群 247823727 (满了)
QQ二群 166427999 (新群,写PHP最佳实践为主)
博客文件如果不能下载请进群下载
如果公司项目有技术瓶颈问题,如有需要,技术服务QQ: 903464207

posted on 2021-09-08 16:42  zh7314  阅读(58)  评论(0编辑  收藏  举报