摘要: 一、使用celery的原因 分布式任务调度框架celery及其监控工具flower,Linux进程管理工具supervisor 项目痛点: 1、代码上线及运维困难,新代码上线必须保证系统中没有正在运行的异步任务,等待任务结束期间无法保证系统不在接收新任务。(项目中进程多是以multiprocessi 阅读全文
posted @ 2021-12-13 22:38 故事到这儿 阅读(979) 评论(0) 推荐(0)
摘要: 使用pyppeteer的原因:正常浏览情况下浏览器的window.navigator.webdriver的值为undefined,在用selenium模拟情况下其值为true,基于这个机制有些网站会对selenium进行反爬。此外selenium需要配置对应的浏览器驱动,其配置会比pyppeteer 阅读全文
posted @ 2021-12-13 22:26 故事到这儿 阅读(230) 评论(0) 推荐(0)
摘要: 场景 有一个机房,机房内的机器与外界网络不通,但是机房提供了一台机器让我们可以访问到机房内的机器,对于这台机器我们称为跳板机。同时提供对外的服务部署在机房外的一台机器上,现在需要访问到跳板机或者机房内机器(ssh)。如图 其中api_server可以免密登录jump_server,jump_serv 阅读全文
posted @ 2021-08-25 12:31 故事到这儿 阅读(195) 评论(0) 推荐(0)