中文分词生成词频

f=open('tomato.txt','r',encoding="UTF-8")
text=f.read()
#with open('C:\\Users\\MyPC\\PycharmProjects\\untitled3\\tomato.txt','r',) as f:
 #   text=f.read()
#text1=text.decode(["encoding"])   #解码


fo='''，。“”？！：；'''
for ch in fo:
     text=text.replace(ch,'')  #标点符号、特殊符号的处理

import jieba    #导入结巴，进行中文分词
Story=f
print(list(jieba.cut(Story)))

List=list(jieba.cut(Story))
strset=set(List)

strDict={}
for word in List:
     strDict[word]=List.count(word)

#进行词频排序
wcList=list(strDict.items())
wcList.sort(key=lambda x:x[1],reverse=True)
print(wcList)

for i in range(10):
     print(wcList[i])

结果：