摘要：回车桌面图片爬取 今天我们就来爬爬这个网站 https://tu.enterdesk.com/ 这个网站能爬的资源还是很多的，但我就写一个例子，其他的可以根据思路去写。 首先还是先来分析下这个网站的图片获取过程 我选择的是图库，先随便选择一个标签，我这选宠物吧 哟，我们再看看有没有翻页 开启F12( 阅读全文

摘要：反爬虫之搭建IP代理池 听说你又被封 ip 了，你要学会伪装好自己，这次说说伪装你的头部。可惜加了header请求头，加了cookie 还是被限制爬取了。这时就得祭出IP代理池！！！ 下面就是requests使用ip代理例子 response = requests.get(url,proxies=p 阅读全文

摘要：selenium+phantomjs爬取京东商品信息 今天自己实战写了个爬取京东商品信息，和上一篇的思路一样，附上链接：https://www.cnblogs.com/cany/p/10897618.html 打开 https://www.jd.com/ 首先不需要登陆就可搜索，淘宝不一样，所以淘宝 阅读全文

摘要：selenium+phantomjs爬取bilibili 首先我们要下载phantomjs 你可以到 http://phantomjs.org/download.html 这里去下载 下载完之后解压到你想要放的位置 你需要配置一下环境变量哦 如下图： 首先，我们怎么让浏览器模拟操作，也就是我们自己先 阅读全文

摘要：学习PyQuery库 好了，又是学习的时光啦，今天学习pyquery 来进行网页解析 常规导入模块（PyQuery库中的pyquery类） from pyquery import PyQuery as pq 通常使用url初始化 doc = pq(url='http://www.baidu.com' 阅读全文