nlp--分词

在自然语言处理中，对语料进行分词是其中最基础和关键的一步。在python中常用的分词包有jieba，snownlp，thulac，pkuseg等。具体的使用可以参考官方文档。

jieba:https://github.com/fxsjy/jieba

pkuseg:https://github.com/lancopku/pkuseg-python

snownlp:https://github.com/isnowfy/snownlp

thulac:https://github.com/thunlp/THULAC

hanlp:https://github.com/hankcs/pyhanlp