会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
大虾
博客园
::
首页
::
博问
::
闪存
::
新随笔
::
联系
::
订阅
::
管理
::
2022年12月6日
基于redis乐观锁实现并发排队 - 基于scrapy运行数量的控制
摘要: 有个需求场景是这样的,使用redis控制scrapy运行的数量。当系统的后台设置为4时,只允许scapry启动4个任务,多余的任务则进行排队。 概况 最近做了一个django + scrapy + celery + redis 的爬虫系统,客户购买的主机除了跑其他程序外,还要跑我开发的这套程序,所以
阅读全文
posted @ 2022-12-06 22:33 一灯编程
阅读(254)
评论(0)
推荐(0)
python 集合常用操作
摘要: 集合的特性 无序、不重复、可迭代 常用api 创建一个集合 需要显式地使用set()方法来声明,如果使用字面量{}来声明解析器会认为这是一个字典。 add() 往集合中添加一个元素 demo = set() demo.add(1) >>> {1} 移除一个元素 demo.remove(1) demo
阅读全文
posted @ 2022-12-06 21:04 一灯编程
阅读(70)
评论(0)
推荐(0)