词频统计英文和统计中文的区别

 通常我们做英文词频统计的时候,我们可能会采用单词树,或者map等等。

但是,在进行中文的词频统计的时候,中文之间没有空格和符号,不像在英

文词频统计一样,英文之间是有空格和符号的。所以,相对于英文来说,中

文词频统计比较难。主要是不好提取中文字通常我们在提取中文时候会进行

划分,通过汉字的关联等等来进行划分,提取。

 

    

posted @ 2016-11-27 16:21  handsomeman  阅读(921)  评论(0编辑  收藏  举报