第三次作业（词频统计及其效能分析）

 博客开头给出自己的基本信息，格式建议如下：

• 学号2017035107122；
• 姓名：张炜一
• 码云地址：https://gitee.com/weiyi1208/word_frequency

调用次数最多的

执行时间最长的

 

将文件读入缓冲区（dst指文本文件存放路径，设置成形参，也可以不设，具体到函数里设置）

def process_file(dst): # 读文件到缓冲区
try: # 打开文件
txt=open(dst,"r")
except IOError as s:
print (s)
return None
try: # 读文件到缓冲区
bvffer=txt.read()
except:
print ("Read File Error!")
return None
txt.close()
return bvffer

 

设置缓冲区，将文本度数缓冲区，并对文本的特殊符号进行修改，使其更容易处理，并读入字典。
def process_buffer(bvffer):
if bvffer:
word_freq = {}
# 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
bvffer=bvffer.lower()
for x in '~!@#$%^&*()_+/*-+\][':
bvffer=bvffer.replace(x, " ")
words=bvffer.strip().split()
for word in words:
word_freq[word]=word_freq.get(word,0)+1
return word_freq

 

设置输出函数，运用lambda函数对词频排序，并以“词”——“频”格式输出
def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print (item)

 

封装main函数，以便接下来的cProfile的性能评估
def main():

dst = "Gone_with_the_wind.txt"
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)

if __name__ == "__main__":
import cProfile
import pstats
cProfile.run("main()", "result")
# 直接把分析结果打印到控制台
p = pstats.Stats("result") # 创建Stats对象
p.strip_dirs().sort_stats("call").print_stats() # 按照调用的次数排序
p.strip_dirs().sort_stats("cumulative").print_stats() # 按执行时间次数排序

 

本次作业使我学习了python中cProfile的使用方式，通过此次作业是我对如何减少软件执行时间有了新的想法。