摘要：
一、使用celery的原因 分布式任务调度框架celery及其监控工具flower，Linux进程管理工具supervisor 项目痛点： 1、代码上线及运维困难，新代码上线必须保证系统中没有正在运行的异步任务，等待任务结束期间无法保证系统不在接收新任务。（项目中进程多是以multiprocessi 阅读全文
posted @ 2021-12-13 22:38
故事到这儿
阅读(983)
评论(0)
推荐(0)
摘要：
使用pyppeteer的原因：正常浏览情况下浏览器的window.navigator.webdriver的值为undefined，在用selenium模拟情况下其值为true，基于这个机制有些网站会对selenium进行反爬。此外selenium需要配置对应的浏览器驱动，其配置会比pyppeteer 阅读全文
posted @ 2021-12-13 22:26
故事到这儿
阅读(230)
评论(0)
推荐(0)
浙公网安备 33010602011771号