摘要：Scrapyrt：为Scrapy提供了一个调度的HTTP接口，有了它就不需要再执行Scrapy命令，而是通过请求一个HTTP接口即可调度Scrapy任务 GitHub：https://github.com/scrapinghub/scrapyrt 官方文档：http://scrapyrt.readt 阅读全文

摘要：新建项目创建爬虫 1 scrapy startproject Scrapy_crawl # 新建Scrapy项目 2 3 scrapy genspider -l # 查看全部模板 4 # Available templates: 5 # basic 6 # crawl 7 # csvfeed 8 # 阅读全文

摘要：CrawlSpider：Scrapy提供的一个通用Spider 官方文档链接：http://scrapy.readthedocs.io/en/latest/topics/spiders.html#crawlspider 在Spider里，使用数据结构Rule表示用来实现页面的提取的爬取规则；Rule 阅读全文

摘要：Spider Middleware：介于Scrapy的Spider处理机制的钩子框架 在Downloader生成的Response发送给Spider之前对Response进行处理 在Spider生成的Request发送给Schedule之前对Request进行处理 在Spider生成Item发送给I 阅读全文

摘要：Downloader Middleware：下载中间件，它处于Scrapy的Request和Response之间的处理模块 在Schedule调度出队列中的Request发送给Downloader下载之前，对Request进行修改 在下载后生成的Response发送给Spider之前，可以对其进行解 阅读全文

摘要：创建Scrapy项目 1 # https://github.com/My-Sun-Shine/Python/tree/master/Python3/Scrapy_Learn/Scrapy_A 2 scrapy startproject Scrapy_A 项目结构： scrapy.cfg：Scrapy 阅读全文

摘要：爬虫框架Scrapy：该框架依赖的库比较多，至少需要依赖库有Twisted、lxml、pyOpenSSL；而在不同平台环境又各不相同，所以在安装之前最好确保把一些基本库安装好 官方网站：https://scrapy.org 官方文档：https://docs.scrapy.org PyPi：http 阅读全文