• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
Computer_geek
博客园    首页    新随笔    联系   管理    订阅  订阅

jieba(杰巴)分词的三种模式

jieba(结巴)是一个强大的分词库,完美支持中文分词,做为最好的Python中文分词组件。

安装:pip install jieba

特点

支持三种分词模式:

  1.精确模式,试图将句子最精确地切开,适合文本分析;

     import jieba

    strings = '今天天气真好'
    seg = jieba.cut(strings,cut_all=False)
    print(','.join(seg))

        output :   今天天气,真,好

     cut_all参数默认为False,所有使用cut方法时默认为精确模式


  2.全模式,把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义;

    

      import jieba

    strings = '今天天气真好'
    seg = jieba.cut(strings,cut_all=True)
    print(','.join(seg))

        output :   今天,今天天气,天天,天气,真好


  3.搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

    

    import jieba

   strings = '今天天气真好'
   seg = jieba.cut_for_search(strings)
   print(','.join(seg))

      output : 今天,天天,天气,今天天气,真,好

posted @ 2018-08-13 20:10  Computer_geek  阅读(10737)  评论(0)    收藏  举报
刷新页面返回顶部
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3