摘要:
一、使用celery的原因 分布式任务调度框架celery及其监控工具flower,Linux进程管理工具supervisor 项目痛点: 1、代码上线及运维困难,新代码上线必须保证系统中没有正在运行的异步任务,等待任务结束期间无法保证系统不在接收新任务。(项目中进程多是以multiprocessi 阅读全文
posted @ 2021-12-13 22:38
故事到这儿
阅读(979)
评论(0)
推荐(0)
摘要:
使用pyppeteer的原因:正常浏览情况下浏览器的window.navigator.webdriver的值为undefined,在用selenium模拟情况下其值为true,基于这个机制有些网站会对selenium进行反爬。此外selenium需要配置对应的浏览器驱动,其配置会比pyppeteer 阅读全文
posted @ 2021-12-13 22:26
故事到这儿
阅读(230)
评论(0)
推荐(0)

浙公网安备 33010602011771号