软工作业3:词频统计

 一、编译环境说明

  pycharm2018、python3.7

 二、代码分析

(1)读文件到缓存区(process_file(dst))

def process_file(dst):  # 读文件到缓冲区
try: # 打开文件
f = open(dst, 'r', encoding='gb2312') # dst为文本的目录路径
except IOError as s:
print(s)
return None
try: # 读文件到缓冲区
bvffer = f.read()
except:
print('Read File Error!')
return None
f.close()
return bvffer

 (2)处理缓冲区,返回存有词频数据的字典(process_buffer(bvffer))

def process_buffer(bvffer):
if bvffer:
word_freq = {} # 下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq
for ch in '“‘!;,.?”':
bvffer = bvffer.lower().replace(ch, " ")
words = bvffer.strip().split()
# strip()
for word in words:
word_freq[word] = word_freq.get(word, 0) + 1
return word_freq

 (3)输出词频前十的单词(output_result(world_freq))

def output_result(word_freq):
if word_freq:
# 根据v[1]即词频数量排序
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print("(%s,%d) " % (item[0], item[1]))

 (4)主函数对之前的函数进行整合(main()) if __name__ == "__main__":  dst = 'src/Gone_with_the_wind.txt' # 《飘》文件的路径

   bvffer = process_file(dst)
   word_freq = process_buffer(bvffer)
   output_result(word_freq)
三、代码风格说明

    python在代码结束末尾不需要加 ;

  四、程序截图

 五、性能结果分析

(1)执行时间最多的部分代码

(2)执行次数最多代码

 

posted on 2018-10-10 14:36  邱子良  阅读(128)  评论(1)    收藏  举报

导航