| import jieba |
| 精确模式,试图将句子最精确地切开,适合文本分析;全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。 |
| .cut() |
sentence |
需要分词的字符串 |
| cut_all=F |
是否采用全模式(否则使用精确模式) |
| HMM=T |
是否使用HMM模型(可识别不在词典中的词) |
| .cut_for_search() |
(sentence, HMM=T) 搜索引擎模式 |
| .load_userdict(f) |
载入词典, f为自定义词典的路径词典格式和dict.txt一样, 一个词占一行; 每一行分三部分, 一部分为词语, 另一部分为词频(可省略, 词频越高成词几率越大),最后为词性(可省略), 用空格隔开 |
| .suggest_freq() |
使用建议的单词频率强制一个单词中的字符拆分或连接 |
| .add_word() |
word |
需要修改词频或词性的词 |
| freq=N |
设置词频 |
| tag=N |
设置词性 |
| import jieba.analyse |
| .extract_tags |
基于TF-IDF算法的关键词抽取 |
| sentence |
待提取的文本 |
| topK=20 |
返回多少个TF/IDF权重最大的关键词 |
| withWeight=F |
是否一并返回关键词权重值(word, weight) |
| allowPOS=() |
仅包括指定词性的词, 默认不筛选 |
| withFlag=F |
当 allowPOS不为空,是否返回对象(word, weight),类似posseg.cut |