K班个人编程

一、PSP表格

(1.1)在开始实现程序之前,在附录提供PSP 表格记录下你估计将在程序的各个模块的开发上耗费的时间。

(1.2)在你实现完程序之后,在附录提供的 PSP 表格记录下你在程序的各个模块上实际花费的时间。

PSP2.1 Personal Software Process Stages 预计耗时(分钟) 实际耗时(分钟)
Planning 计划 30 30
Estimate 估计这个任务需要多少时间 30 90
Development 开发 300 270
Analysis 需求分析(包括学习新技术) 1440 2880
Design Spec 生成设计文档 5 5
Design Review 设计复审 5 5
Coding Standard 代码规范(为目前的开发制定合适的规范) 3 10
Design 具体设计 60 120
Coding 具体编码 240 360
Code Review 代码复审 30 300
Test 测试(自我测试,修改代码,提交修改) 300 300
Reporting 报告 20 20
Test Repor 测试报告 20 20
Size Measurement 计算工作量 10 10
Postmortern & Process Improvement Plan 事后总结,并提出过程改进计划 120 360
合计 2613 4780

二、任务要求的实现

(2.1)项目的设计与实现过程

本次代码共包含五个程序:一个主程序(main_program)和四个函数(spider_province, parse_data, turn_to_excels,turn_to_images)

思路是将任务分为四块:

  1. spider_province负责爬取数据,并返回打包好的数据

  2. parse_data 负责解析出要使用的有效数据,并返回

  3. turn_to_excels 负责将有效数据生成并保存为excel,(存在该文件夹下的 table 文件夹)

  4. turn_to_images 负责将excel表格的数据读出,并生成可视化图像

main_program 负责调用这四个模块进行工作。

(2.2)数据统计接口部分的性能改进

  • 程序中消耗最大的是爬虫的初始化函数,因为需要载入所需的模块,生成迭代器需要较长时间,后来分析发现在我的爬虫中睡眠机制(为保护cookie,防止访问被拒)消耗较多的时间,思考过后,改进了睡眠的时间,加快了爬虫的速度。

(2.3)每日热点的实现思路

  • 暂时还没完成

(2.4)数据可视化界面的展示

  • 这边展示爬取一页(24天)的效果,爬取所有的数据,下面的时间轴过于密集,展示效果不太好看
  1. 时间轴上的时间可以用鼠标点击,切换任意想要查看的日期疫情。

  2. 还可以点击播放按钮,自动播放切换每天的疫情状况

  3. 将鼠标放置于想要查看的省,可自动显示信息

三、心得

(3.1)在完成本次作业过程的心得体会

  1. 这次作业主要还是学习了可视化的操作较多,恰好这次作业有的大部分知识是学过的,

    所以主要还是学习可视化操作,表格操作。

  2. 也意识到了自己在代码上的不足,有很多时间都是在debug上面,主要是动手的时间太少,

    平常太少打代码导致。

  3. 当然解决了一些比较细小的bug也让我成长很多。

posted @ 2022-09-20 15:02  对讲鸡  阅读(4)  评论(0编辑  收藏  举报