文章分类 -  Scrapy

spider【第八篇】Scrapy突破反爬虫的限制
摘要：setting文件 随机更换user-agent 每次url请求更换一次user-agent settings middlewares ip代理 方案一：免费版 自定义函数获取网上的一些免费代理ip settings middlewares 方案二：收费版 github上scrapy-proxies 阅读全文
posted @ 2017-11-23 01:26 沐风先生 阅读(5412) 评论(0) 推荐(0) 编辑
spider【第七篇】Scrapy基本操作
摘要：通过前面的学习，我们已经能够解决90%的爬虫问题了，那么scrapy是为了解决剩下的10%的问题么，不是，scrapy框架能够让我们的爬虫效率更高 官方文档 https://scrapy-chs.readthedocs.io/zh_CN/latest/ why scrapy 爬虫是IO密集型任务，因 阅读全文
posted @ 2017-11-21 03:03 沐风先生 阅读(661) 评论(0) 推荐(0) 编辑