作业要求 https://edu.cnblogs.com/campus/fzzcxy/2018SE2/homework/11248
作业目标 熟悉和编写爬虫的代码
作业源代码 https://gitee.com/mjjyjq/pair
队员1 211803124
队员2 211809172

结对过程

这一次的结对过程中,我们产生了不一样的意见然后进行统一讨论花了不少时间,但是代码的质量高于一个人。邱晴在思考的时候是什么投入的,也非常需要一个安静的环境,这是一个挺好的习惯,在思考的时候就应该投入思考。由于宿舍距离很远,两个人在讨论代码的时候可谓是历经千辛万苦。


代码概况

我们的代码一共大概210行,花了大约一天的时间完成了它,大约花了1个多小时进行了需求分析,然后就是完成代码的时间。


思路分析

首先对爬虫进行理解分析并获取数据所在的网址等
接着利用爬虫对所需要的经验和cookie获取

然后从分成的所有活动的总的div中获取所需要的div并且获取网址

再用div把每个人分成小块,获取学号姓名和经验存入数组

然后进行计算最高分最低分和平均分存入txt文件

再将获取的网址存入数组,将获取的名字学号和经验值存入集合
最后用正则表达式获取想要的信息


过程中的问题

在讨论代码的时候,运用什么类型来存放数据产生了争议,最后还是采用了较为易懂的集合进行存放。在各种比较中,最后也是采用了助教所建议的正则。

posted on 2020-10-04 22:13  myjq  阅读(117)  评论(1编辑  收藏  举报