2017*****7038
于晨
作业上传已上传码云：https://gitee.com/baobaoyuchen/word_frequency/branches

  1. 程序分析，对程序中的四个函数做简要说明。要求附上每一段代码及对应的说明。
    from string import punctuation
    def process_file(dst): # 读文件到缓冲区
    try: # 打开文件
    f1 = open(dst,"r")

    except IOError (s):
    print (s)
    return None
    try: # 读文件到缓冲区
    bvffer=f1.read()
    except:
    print ("Read File Error!")
    return None
    f1.close()
    return bvffer
    第一段代码是读取文件

def process_buffer(bvffer):
if bvffer:
word_freq = {}
# 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
bvffer=bvffer.lower()
for x in '~!@#$%^&()_+/-+][':
bvffer=bvffer.replace(x, " ")
words=bvffer.strip().split()
for word in words:
word_freq[word]=word_freq.get(word,0)+1
return word_freq
第二段代码计算了单词的个数 并保存单词的个数

def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print(item)
第三段代码输出了最多单词的个数

def main():

dst = "Gone_with_the_wind.txt"
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)

if name == "main":
import cProfile
import pstats
cProfile.run("main()", "result")
# 直接把分析结果打印到控制台
p = pstats.Stats("result")
p.strip_dirs().sort_stats("call").print_stats()
p.strip_dirs().sort_stats("cumulative").print_stats()
第四段代码是一个main函数 并把结果打印到了控制台

执行结果


单词出现的次数


执行次数最多的代码

执行时间最长的代码

总结：掌握了简单的词频统计的操作，运用的还是不够熟练 ，反思：加快运行词频统计的操作