摘要:
有个需求场景是这样的,使用redis控制scrapy运行的数量。当系统的后台设置为4时,只允许scapry启动4个任务,多余的任务则进行排队。 概况 最近做了一个django + scrapy + celery + redis 的爬虫系统,客户购买的主机除了跑其他程序外,还要跑我开发的这套程序,所以 阅读全文
摘要:
集合的特性 无序、不重复、可迭代 常用api 创建一个集合 需要显式地使用set()方法来声明,如果使用字面量{}来声明解析器会认为这是一个字典。 add() 往集合中添加一个元素 demo = set() demo.add(1) >>> {1} 移除一个元素 demo.remove(1) demo 阅读全文