摘要: requests库 爬虫的本质就是模仿浏览器请求数据,所以requests帮我做的也就是这个事情 本质就是封装了urllib3 Get Post get post主要的区别就是携带参数的方式不同 get post 响应Response 梨视频首页视频 2 参考链接 https://www.cnblo 阅读全文
posted @ 2019-08-27 22:56 zx125 阅读(257) 评论(0) 推荐(0)
摘要: 读取有效代码文件数量,代码行数,读取时间,写入日志文件,打印日志文件 1.创建setting.py 2.创建readcode.py 3.run settings.py readcode.py 阅读全文
posted @ 2019-08-27 20:42 zx125 阅读(244) 评论(0) 推荐(0)
摘要: 爬虫代理 相关网站 快代理 西祠代理 www.goubanjia.com 请求协议 http https注意请求的url是使用哪一种请求协议的 代理ip的匿名度 透明:服务器知道该次请求使用了代理,也知道请求对应的真实ip 匿名:知道使用了代理,不知道真实的ip 高匿:不知道是代理,和真实的ip 阅读全文
posted @ 2019-08-27 19:30 zx125 阅读(200) 评论(0) 推荐(0)
摘要: \_\_mro\_\_ 经典类(classic class)的深度遍历。 Python 2.2 的新式类(new style class)预计算。 Python 2.3 的新式类的C3 算法。它也是 Python 3 唯一支持的方式。 简单说下实现: 前面两种都是基于深度遍历的,但是第一种重复保留的 阅读全文
posted @ 2019-08-27 18:09 zx125 阅读(192) 评论(0) 推荐(0)