scrapy简单分布式爬虫
摘要：
经过一段时间的折腾，终于整明白scrapy分布式是怎么个搞法了，特记录一点心得。 虽然scrapy能做的事情很多，但是要做到大规模的分布式应用则捉襟见肘。有能人改变了scrapy的队列调度，将起始的网址从start_urls里分离出来，改为从redis读取，多个客户端可以同时读取同一个redis，从 阅读全文
posted @ 2018-02-07 15:18 孔扎根 阅读(734) 评论(0) 推荐(0) 编辑
