摘要：有个需求场景是这样的，使用redis控制scrapy运行的数量。当系统的后台设置为4时，只允许scapry启动4个任务，多余的任务则进行排队。 概况 最近做了一个django + scrapy + celery + redis 的爬虫系统，客户购买的主机除了跑其他程序外，还要跑我开发的这套程序，所以 阅读全文