陈亦静——第一次个人编程作业

博客班级 2018级计算机和综合实验班
作业要求 软件工程---第一次个人编程
作业目标 1. 爬取电视剧《在一起》的评论 2.数据处理 3.数据可视化 4.上传GitHub
作业源代码 https://github.com/erdong-ligedong/first-personal-work
学 号 <211806159>

第一步:爬取评论信息

爬取评论信息是怎么作业实现的关键一步,但是上学期说真的,没好好学习爬虫,看到作业的时候人都傻了,但是作业还是得做,没的办法,只能开始学习了,于是,大家都是复习爬虫的相关知识而我却是预习爬虫,看来网上的教学视频,勉强写了点代码爬取了评论,但由于我是突击学习爬虫,写代码的水平很低,再加上对爬虫知识掌握的不够牢固,我只爬取了部分评论代码详情如下,刚开始的时候要爬取啥我都不清楚,看了大佬们的作业才发现了url变化的规律,大概的规律我也稍微写一点,主要见下面的图片

1.找到电视剧《在一起》的影评,点击影评旁边的数字进入评论的页面

2.然后F12,network,找到v2开头的一个name,点击进去得如图所示,可以得到当前页面的resquest-url,再点击preview,展开可以看到它的last


3.点击加载更多评论,可以在旁边找到第二个v2开头的name,进行步骤2,可以观察到两个resquest-url之间的关系,第二个url中的cursor是第一个url中的last,source是在第一个source的基础上加一,可以多点几次,发现这个明显的规律,就是有点费眼睛

4.知道url之间的关系了我们就可以进行爬取评论内容了,具体如下。但是我还是不会爬取全部的评论信息,只能说平时不努力了,临时抱佛脚是没有用的,我就用最笨的办法爬取了部分代码,认真看我的代码的话,就会发现我是真的用的最笨的办法,害,每次做作业都在反思自己为什么不学习,但是该学习的时候还是皮很厚的快乐玩耍。



具体过程让我认真去解释我也是一知半解,只能在课后自己再学习学习了

第二步:数据处理

刚花了好长一段时间爬取了部分评论,没来得及高兴,这边又来了新知识,这个寒假可算是让我了解了什么叫做今日事今日毕了,不学习后面会遭报应的,硬着头皮继续学习怎么去进行数据处理吧,向大佬们低头。用jieba、re、Counter、json库来筛选统计高频词汇,然后生成json格式的高频词汇result.json文件。第二部大概就是这么个流程,现在说起来感觉很容易,但是刚开始也是一头雾水觉得崩溃,具体详情如下:

第三步:数据可视化

激动人心的时刻到了,开始整个作业里我最喜欢的部分,不是因为它简单,而是好像很好玩,但是我还是太天真了,好玩归好玩,但这也是个新知识,我只有想做出来的心,很明显我的实力不允许,于是,又开始百度学习,但是我百度到的学习视频里面都要安装wordcloud库,我想着那就安吧,但是我又天真了,我怎么都安不上,后面问了同学才知道原来echart就可以了,又开始赶紧了解这个新的东西,发现这个好像也很好玩,能生成好多好玩的图表,又开始漫漫百度学习路,最后,我还是不太明白这玩意到底该咋用,生成了一个好丑的词云

无奖竞猜,我到底是生成了个啥

第四步:代码上传GitHub

最后一步,将我们写的代码及其结果上传到github中,github除了上次作业是第一次接触,含糊了完成了第一次作业,自己也不太清楚做了写啥,这次又要使用,于是又又开始百度,问同学,终于,我对git以及GitHub有了初步的认识,在我反反复复删除重新创建了n次仓库后,我终于按照要求上传了上去,具体步骤如下:

1.创建“第一次编程”文件夹,右击,,点击“Git Bash Here”,然后连接GitHub并从GitHub上下载文件夹

2.进入first-personal-work,创建分支
git checkout -b chart创建新分支,git push origin chart将分支上传到GitHub,git branch -r查看分支

3.切换分支,按照作业要求上传文件
git checkout 分支
git add 文件名,上传文件
git commit -m "注释",添加注释
git push -u origin 分支,上传至GitHub

4.合并分支
git merge 分支
git push origin main

5.最终效果

心得体会

这一周,真的是度日如年,每天对我而言都在不断学习新知识,很累,但是感觉还不赖,接下来的话有时间还是应该多看点相关学习资料,将最近这段时间所学到的新知识巩固一下,趁现在还有点接触,再过段时间又该忘记重新学习了,做作业的过程中真的遇到了很多困难,不止是因为是新知识,更多的应该是我之前对该学的知识的缺失,应该反思自己了

posted on 2021-02-24 15:52  耳东里个·咚  阅读(138)  评论(1编辑  收藏  举报

导航