摘要: 引入 回顾requests实现数据爬取的流程 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求,我们都会指定去使用聚焦爬虫,也就是爬取页面中指定部分的数据值,而不是整个页面的数据。因此,本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式 阅读全文
posted @ 2018-09-20 18:19 波晓张 阅读(8675) 评论(0) 推荐(1) 编辑
摘要: 今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 知识点回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 了解cookie和session - 无状态的http协议 - 如上图所示,HTTP协议 是无状态的协议, 阅读全文
posted @ 2018-09-20 15:46 波晓张 阅读(3282) 评论(1) 推荐(2) 编辑
摘要: 引入 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。 警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。 今日概要 基于requests的get请求 基于requests模块的p 阅读全文
posted @ 2018-09-20 14:12 波晓张 阅读(4769) 评论(3) 推荐(2) 编辑