2018年7月18日
Scrapy 扩展中间件: 针对特定响应状态码，使用代理重新请求
摘要： 0.参考 https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#module-scrapy.downloadermiddlewares.redirect https://doc.scrapy.org/en/latest/ 阅读全文
posted @ 2018-07-18 18:47 my8100 阅读(5497) 评论(0) 推荐(1)
Scrapy 扩展中间件: 同步/异步提交批量 item 到 MySQL
摘要： 0.参考 https://doc.scrapy.org/en/latest/topics/item-pipeline.html?highlight=mongo#write-items-to-mongodb 20180721新增：异步版本 https://twistedmatrix.com/docum 阅读全文
posted @ 2018-07-18 12:55 my8100 阅读(2606) 评论(0) 推荐(0)