2018年7月4日
python之路--爬虫经验
摘要： 1.简单的反防爬虫：模拟浏览器登录 在发送请求是带上请求头headers: 常用请求头中的内容有headers={“User-Agent”:”...”，“host”：“...”，”referer”:”....”，自定义的，等等} 2.爬虫经验 经验一：当获取页面内容返回被防火墙拦截的时候，应当考虑在 阅读全文
posted @ 2018-07-04 20:01 Aberwang 阅读(88) 评论(0) 推荐(0)
python之路 -- 爬虫 -- 爬虫基础
摘要： 爬虫最常用的模块：requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是他不好用。一般情况下我们都会使用一个第三方模块requests来发送http请求。requests发送请求的方式一般有2 种，get请求和post请求. reque 阅读全文
posted @ 2018-07-04 18:15 Aberwang 阅读(150) 评论(0) 推荐(0)