python库--flashtext--大规模数据清洗利器

 

flashtext.keyword (flashtext)
类/方法 返回值 参数 说明
.KeywordProcessor() 对象kp case_sensitive=False 是否区分大小写
添加关键词      
kp.add_keyword()   keyword 检索的词
clean_name=None 显示或要被替换为的词(默认keywords本身)
kp.add_keywords_from_dict()   keyword_dict key: 类似于clean_name
value: 类似于[keyword]
kp.add_keywords_from_list()   keyword_list 类似于[keyword]
删除关键词      
kp.remove_keywords()   keywoed 要删除的keyword
kp.remove_..._from_dict()   keyword_dict 参考添加
kp.remove_..._from_list()   keyword_list 参考添加
设置单词边界      
kp.add_non_word_boundary()   character 添加非单词边界的字符, 比如添加'/', 那么此字符将不会被识别为单词边界
关键字提取      
kp.extract_keywords() list 关键字提取
sentence 要被检索的字符串, 匹配到则返回clean_name
span_info=False 是否返回关键字位置信息
       
关键字替换      
kp.replace_keywords() str 关键字替换
sentence 要被替换的字符串, 把keywords替换为clean_name
       
posted @ 2018-01-23 12:02  _殇  阅读(1389)  评论(0编辑  收藏  举报