2017年12月25日
scrapy进阶-编写中间件和扩展
中间件： 主要讨论的是下载中间件，明确一下顺序： download_middlewares --> server.url > spider_middleware 我主要是用来加header或者cookie，有的时候，用了scrapy-redis框架，直接往redis队列里塞网页，不同的domain有 Read More
posted @ 2017-12-25 16:03 dahu1 Views(1324) Comments(0) Diggs(0) Edit