2019年2月13日
摘要: scrapyrt为scrapy提供了一个http接口,有了它,我们不用再执行命令,而是直接请求一个http接口来启动项目,如果项目是部署在远程的,会比较方便。 1、安装: pip install scrapyrt 2、在任意一个项目中运行scrapyrt,再此我们在quotes爬虫项目中运行。默认会 阅读全文
posted @ 2019-02-13 22:42 liangxb 阅读(2065) 评论(0) 推荐(0) 编辑
摘要: 本篇文章我们以360图片为例,介绍scrapy框架的使用以及图片数据的下载。 目标网站:http://images.so.com/z?ch=photography 思路:分析目标网站为ajax加载方式,通过构造目标url从而请求数据,将图片数据存储在本地,将图片的属性存储在mongodb中。 1、首 阅读全文
posted @ 2019-02-13 22:04 liangxb 阅读(1490) 评论(0) 推荐(0) 编辑