20201317 LYX《python程序设计》计算器设计实验四报告

1.实验内容

（一）实验内容

Python综合应用：爬虫、数据处理、可视化、机器学习、神经网络、游戏、网络安全等。
评分标准：
（1）程序能运行，功能丰富。（需求提交源代码，并建议录制程序运行的视频）10分
（2）综合实践报告，要体现实验分析、设计、实现过程、结果等信息，格式规范，逻辑清晰，结构合理。10分。
（3）在实践报告中，需要对全课进行总结，并写课程感想体会、意见和建议等。5分

2. 实验过程及结果

我选择了python网络爬虫和简单的pygame设计学习。
1，首先由课上学长的讲解，我首先按学长的网址，代码进行重复学习实践
2，由学长课上讲的，较为通用的json模块，进行其他网站，自己编写的拓展训练
3，通过进一步学习我发现json模块难以适应所有的网站讯息，利用中国大学慕课，进行深入学习，摆脱json模块，进行更为普遍的html分析。
4，是进一步查找资料，利用python，试图从网页上进行python爬虫爬取图片，并保存到文件中。

网络爬虫：

首先

：1，首先由课上学长的讲解，我首先按学长的网址，代码进行重复学习实践

：2，由学长课上讲的，较为通用的json模块，进行其他网站，自己编写的拓展训练

：3，通过进一步学习我发现json模块难以适应所有的网站讯息，利用中国大学慕课，进行深入学习，摆脱json模块，进行更为普遍的html分析。

主要思路如下：
1，从网页上获取大学排名内容
2，提取网页中信息到合适的数据结构
3，利用数据结构，展示并输出数据。

：4.是进一步查找资料，利用python，试图从网页上进行python爬虫爬取图片，并保存到文件中。

代码托管到码云：

1，https://gitee.com/lu-yongxin/pythonProject7/blob/master/python选修/城市排名爬虫.py
2，https://gitee.com/lu-yongxin/pythonProject7/blob/master/python选修/网络爬虫.py
3，https://gitee.com/lu-yongxin/pythonProject7/blob/master/python选修/网络爬虫3.py

pygame设计学习：

代码：https://gitee.com/lu-yongxin/pythonProject7/blob/master/python选修/pygame练习.py

3. 实验过程中遇到的问题和解决过程

- 问题1：json模块进行解析数据时，因为数据结构不同，造成报错

- 问题1解决方案：通过课上的讲解，和通过大学慕课的学习，我知道了可以利用信息数据结构，进行详细的爬虫分析。

- 问题2：如何爬虫照片，并进行保存文件。

- 问题2解决方案：通过老师讲解，查找网络上的知识，解决了问题。

- 问题3：在爬虫淘宝图片时，不清楚为什么爬取图片失败，无信息。

- 问题3解决方案：通过查找网络资料，我知道了，如果未登入淘宝，直接使用url进入网页时，你会发现你并不能转到你想去的网站，而是进入一个登入页面。这就说明，哪怕你不是爬虫，想要在淘宝内搜索，都###- 会被要求先登入。所以，一定要先登入。

- ...

课程感悟：

首先，非常感谢王志强老师的精彩授课，历经三十多学时，使我对python有了一个非常全面清楚的认知学习，课上老师十分清楚的讲解，每一条代码的分析，云班课上的资料更是让我可以学习到更多的知识，学习更加深入，全面，最后一堂课学长深入浅出的讲解，更是让网络爬虫这个，我看似复杂的代码程序，变得简单易学。更忘不了老师每节课前的温故知新，让我们及时回顾了知识，学习更扎实。

最后一些建议的话，就是希望可以增加一些学时，老师可以有更多时间讲解的更深入，更清晰，最后几节课，对我来说难度比较大，所以希望可以增加一些学时，讲的更深入一些。

而且希望老师可以将一些设计游戏之类的，实际性更强的知识。

最后，真心感谢王志强老师的精彩授课。

（演示视频已发送）