夏子恒——第一次个人编程作业
| 这个作业属于哪个课程 | 2018级计算机和综合实验班 |
|---|---|
| 这个作业要求在哪里 | 第一次个人编程作业 |
| 这个作业的目标 | 爬取网页信息，基本的数据处理（分词），学习使用echarts插件，绘制html页面，进一步熟悉GitHub的使用 |
| 作业源代码 | first-personal-work |
| 学号 | 211808331 |
大致流程
| 事项 | 时间 |
|---|---|
| 选题确定及准备 | 2-3d |
| 数据采集 | 2d |
| 数据处理 | 5h |
| 绘制html词云图 | 3h |
| 博客编辑 | 2h |
前期
- 这次作业刚发布时，我简单看了一下作业要求内容，说实话我是拒绝的o(╥﹏╥)o。毕竟上一次作业才做完不久，喜庆的新年也还未完全结束
（其实主要是爬虫掌握的实在不咋滴...），突然就一份“难搞”的作业砸我脸上，我直接@#￥#%￥#**……。虽然挣扎了几天，但随着提交时间的临近以及陆续有同学提交作业，我也还是准备试着做一做。 - 既然决定要试着做一做，那就得选择一个题目。因为爬虫实在辣鸡，起初是想选题目二疫情地图的，毕竟有现成的数据，但是上手尝试之后发现...爬数据是不用了，但是之后的数据处理实在是搞不太来，拿到数据也整不出个名堂来（裂开），即便查阅一些资料也不太明白，再加上选择题目二的同学比较少，没有什么可以问的同学，实在难以上手，最终只能作罢。
- 在这期间也看了许多同学交的作业，空余时间也看了一下第一题，简单思考了一些，查了一部分相关资料，复习了一点之前的爬虫知识。于是在放弃第二题之后转向了第一题……
中期
- 首先爬取数据，进入腾讯视频电视剧《在一起》第一集页面后滑到页面底部查看评论，按F12并刷新，点击底部的查看更多评论
- 展开后可以发现评论都在‘content’中，并且存放在这个链接中
- 进一步查看后发现，每一页的评论URL只有两串数字不同。并且后面那串是上一页+1。前面那串看似没有规律。
- 但打开URL便发现last中的数值正是下一页cursor=中的数值，之后的页面也依旧如此。
- 综合上述规律进行爬取，部分代码如下。
- 以下是爬取的部分评论数据。
- 评论数据爬取完之后，就是进行分词，简单看了后选择了jieba分词器。因为之前没有用过pycharm还特意查了一下pycharm如何安装模组...但是不知道为什么一直安装不下来，老是等了半天然后告诉我超时安装失败？？？尝试多次还是不行之后没办法直接用python，结果还是没有安装成功，这一波下来就浪费了不少时间[○･｀Д´･ ○]。最后询问同学之后为了节约时间直接把安装后的文件拷贝到python文件夹下了...
- 解决了jieba的安装之后开始分词，使用比较生疏也是在同学的帮助下才完成。以下是部分代码。
- 部分分词数据。
后期
- 分词完成之后就是绘制词云图了。echarts插件第一次接触，也是通过询问同学才成功安装以及初步了解如何使用。我最终截取了部分数据绘制词云图，网页效果如图。
- 最后将文件上传到GitHub即可。因为是全部弄完才上传所以emmmm……QAQ。
复盘
- 虽然过程艰难痛苦，但总归是把这难搞的作业磨完了。主要一方面之前学过的内容掌握的不太好再加上遗忘，实际用起来还是比较困难；另一方面在第一点的基础上，遇到一些新的东西的学习上也有些困难，以及这方面相关的学习能力不够强。
也许这也是我坚定考公的原因之一吧，不过技多不压身，即便以后真的走上了公务员这条路，还是希望学过的东西在需要的时候能用上吧。- 不过通过这次作业收获也是有的，毕竟整个过程对我来说也不算短了，期间查阅的东西，看到的学到的新东西也还是有那么一些些的，以及之前掌握的不好的知识，遗忘的知识也得到了些许的加强。
参考资料
究极福利带你Python爬虫| 爬取腾讯视频评论
jieba
echarts官方教程
廖雪峰git教程
Git与GitHub笔记
