20204202牟朝婷《Python程序设计》实验四综合实践实验报告

学号 20204202 《Python程序设计》实验四报告

课程：《Python程序设计》
班级： 2042
姓名： 牟朝婷
学号：20204202
实验教师：王志强
实验日期：2022年5月21日
必修/选修： 公选课

 

一.实验内容：

爬取并可视化分析微博评论

二.实验要求：

Python综合应用：爬虫、数据处理、可视化、机器学习、神经网络、游戏、网络安全等。
课代表和各小组负责人收集作业（源代码、视频、综合实践报告）

注：在华为ECS服务器(OpenOuler系统)和物理机(Windows/Linux系统)上使用VIM、PDB、IDLE、Pycharm等工具编程实现。

批阅：注意本次实验不算做实验总分，前三个实验每个实验10分，累计30分。本次实践算入综合实践，打分为25分。
评分标准：
（1）程序能运行，功能丰富。（需求提交源代码，并建议录制程序运行的视频）10分
（2）综合实践报告，要体现实验分析、设计、实现过程、结果等信息，格式规范，逻辑清晰，结构合理。10分。
（3）在实践报告中，需要对全课进行总结，并写课程感想体会、意见和建议等。5分

（4）如果没有使用华为云服务（ECS或者MindSpore均可），本次实践扣10分。

注意：每个人的实验不能重复，课代表先统计大家做的内容并汇总，有重复的需要自行协商。

三.实验过程及结果

1.首先引入所需要的库

request用于爬虫

csv库用于将爬取的数据存储到Excel中，进行可视化

 

 2.查看网页源代码，分析网页规律，对爬虫内容格式化，定义相关函数、for循环

 

 

 

 3.代码运行结果与Excel表格

 

 

 

 4.在华为云服务器(ECS),开机，登录winscp上传代码文件，登录putty-调试环境（安装相关的库、测试python3是否安装成功等）-可以运行代码了

 

  

 

 

5.完整代码已上传至git https://gitee.com/muzt/comprehensive-practice

四.遇到的问题和解决办法

1.在putty上运行时，一直无法安装crypto和crypto.cipher这两个库

解决方法：在CSDN查找资料后，虽然crypto可以安装了，但是另一个库一直无法安装，然后最后就换了个一个代码，也就是现在的微博评论爬取并可视化的代码

2.打开winscp后传输文件一直传输不过去

解决方法：直接传输代码.py即可，一直传不过去可能是图书馆网不太稳定

3.在putty上调试环境不熟练

解决方法：了解相关知识点，如pip3 install crypto安装库，pip3 list检测目前所拥有的库等等

五.课程感悟

一学期下来，我感到收获颇丰，很庆幸自己在这个学期选择了python课程。身为文科生，在上课时难免有文理科思维冲突、无法理解老师讲的知识点等情况发生，学习时也是有些“痛苦”。但是python无疑为我打开了新世界的大门，选这门课时希望自己能够跟上时代步伐（毕竟小孩子都开始学习编程语言，文理也不分科了），而且一直以来对于理科也有很大兴趣（奈何一直学不会）。非常感谢遇到志强老师，每一堂课都生动有趣，贴近生活的实例、幽默随和的课堂氛围都让我倍感包容与亲切、充满动力，最后一节课的最后一张PPT也让我印象深刻、异常感动；回顾过去十几周的学习，首先非常感谢其他理科同学对我的耐心帮助和讲解，然后一起笑说“人生苦短，我用Python”；难忘深夜和文科同学一起讨论代码运行与作业内容的时光，每当跨越崎岖陡峭的“高峰”后，我们都成就感满满，然后继续攀登下一个遥不可及的“高峰”（虽然现在回头看看，内容其实也并不复杂，但当时真的感觉心力憔悴），我们这学期也在学习一些其他的理科课程，我能感受到这些课程都是相通的。在python课上，我们又重温了计网的实验操作，并基于python的socket程序做出了一份信安的实验报告，在代码运行成功、两台电脑实现互联互通与信息传递与加密的过程中，我真正感受到了自己所学的知识时如何应用到实践中的，感受到了学习python的乐趣与无穷的可能性。虽然最后我还不能自己写出代码，很多地方还没有真正理解，但python带给我的远不止这些，第一次接触到博客园、CSDN、git与华为云服务器这样广阔开放的空间，第一次真正体会到爬虫的便利和游戏制作的过程，我深感自己要学习的东西还有很多。最后再次感谢志强老师的倾情讲解，衷心希望以后还有机会与您相逢、听您讲课。

课程建议：希望实验作业可以收到一些反馈，可以鼓励同学们之间互相讨论代码的运用情况等等，在课程学习中，课堂上没有理解的地方，在课下和同学们沟通交流后醍醐灌顶；希望多推荐一些实用性较强的实验操作并进行验收，增强实践能力。