一、程序分析,对程序中的四个函数做简要说明

(1)读文件到缓冲区

def process_file(dst):  # 读文件到缓冲区
    try:     # 打开文件
        file = open(dst, 'r')  # dst为文本的目录路径
    except IOError as s:
        print(s)
        return None
    try:     # 读文件到缓冲区
        bvffer = file.read()
    except:
        print("Read File Error!")
        return None
    file.close()
    return bvffer
复制代码

 

(2)处理缓冲区,返回存放每个单词频率的字典word_freq

复制代码
def process_buffer(bvffer):  # 处理缓冲区,返回存放每个单词频率的字典word_freq
    if bvffer:
        # 下面添加处理缓冲区bvffer代码,统计每个单词的频率,存放在字典word_freq
        word_freq = {}
        # 将文本内容都改为小写且去除文本中的中英文标点符号
        for ch in '“‘!;,.?”':
             bvffer = bvffer.lower().replace(ch, " ")
        # strip()删除空白符(包括'/n', '/r','/t');split()以空格分割字符串
        words = bvffer.strip().split()
        for word in words:
            word_freq[word] = word_freq.get(word, 0) + 1
        return word_freq
复制代码

 

(3)输出出现频率排在前十的单词

def output_result(word_freq): # 出现频率排在前十的单词
        if word_freq:
            sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
            for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
                print("单词:%s 频数:%d " % (item[0], item[1]))

 

(4)main()函数

def main():
    dst = "Gone_with_the_wind.txt"  # Gone_with_the_wind.txt的相对路径
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

 (5)main()函数调用及性能分析得代码

if __name__ == "__main__":
main()

import cProfile
import pstats
#直接把分析结果打印到控制台
cProfile.run("main()", filename="result_out")
# 创建Stats对象
p = pstats.Stats('result_out')
# 输出调用此处排前十的函数
# sort_stats(): 排序
# print_stats(): 打印分析结果,指定打印前几行
p.sort_stats('calls').print_stats(10)
# 输出按照运行时间排名前十的函数
# strip_dirs(): 去掉无关的路径信息
p.strip_dirs().sort_stats("cumulative", "name").print_stats(10)

# 根据上面的运行结果发现函数process_buffer()最耗时间
# 查看process_buffer()函数中调用了哪些函数
p.print_callees("process_buffer")

 

二、代码规范说明

(1)python3与python2在一些函数方面调用有区别:例如 python3在print函数的调用上是print(s),而python2在print函数的调用上是print “s”。老师给的示范代码是python2的,所以在用的时候要修改。

(2)使用4个空格进行缩进。

三、程序运行结果截图、

(1)Gone_with_the_wind文本词频统计结果

 

(2)A_Tale_of_Two_Cities文本词频统计结果

四、性能分析结果及改进

我选择对Gone_with_the_wind.txt进行性能分析

(1)使用 cProfile 进行性能分析

1)指出寻找执行时间最多的部分代码

代码:

 

2)指出寻找执行次数最多的部分代码

代码:

 备注:ncalls:表示函数调用的次数;
           tottime:表示指定函数的总的运行时间,除掉函数中调用子函数的运行时间;
           percall:(第一个percall)等于 tottime/ncalls;
           cumtime:表示该函数及其所有子函数的调用运行的时间,即函数开始调用到返回的时间;
           percall:(第二个percall)即函数运行一次的平均时间,等于 cumtime/ncalls;
           filename:lineno(function):每个函数调用的具体信息

(2)可视化操作

1)使用graphviz和gprof2dot.py,进行可视化操作,转换成下图: