zj_Rules - 博客园

[置顶] 异步任务报错-Celery: WorkerLostError: Worker exited prematurely: signal 9 (SIGKILL)

摘要：现象：异步任务：测试环境正常，线上环境报错使用celery 进行后端异步任务时，报错： Celery: WorkerLostError: Worker exited prematurely: signal 9 (SIGKILL) 网上搜索答案： https://intellipaat.com/ 阅读全文

posted @ 2019-10-24 09:50 zj_Rules 阅读(3475) 评论(1) 推荐(0)

2021年9月30日

OLAP - Kylin调研

摘要： 1. OLAP分类 1.1 MOLAP 特点一般会根据用户定义的数据维度、度量（也可以叫指标）在数据写入时生成预聚合数据；Query查询到来时，实际上查询的是预聚合的数据而不是原始明细数据，在查询模式相对固定的场景中，这种优化提速很明显。优点数据预处理，将原始数据按照指定的计算规则预先做聚合计阅读全文

posted @ 2021-09-30 10:32 zj_Rules 阅读(128) 评论(0) 推荐(0)

2021年6月24日

scala extends app 和 main 区别

摘要： 1.当extends app 时，可以引入变量，而使用main函数不能引入 extends app main 函数 2. extends app 会延迟加载，使用main函数更加稳定等区别网络自行搜索其他不同待补充阅读全文

posted @ 2021-06-24 09:06 zj_Rules 阅读(263) 评论(0) 推荐(0)

2021年5月10日

数据传输 oracle 作为来源表添加schema datax sqoop 解决方案

摘要：如若oracle 的账号拥有默认的schema，schema 可写可不写以下情况适合不拥有默认的schema 如果不加schema 会报错 sqoop 报错如下 datax 报错如下 sqoop sqoop import -Dmapred.job.queue.name=default --num- 阅读全文

posted @ 2021-05-10 10:05 zj_Rules 阅读(325) 评论(0) 推荐(0)

2020年11月13日

阿里云电话报警

摘要：阿里云电话报警阅读全文

posted @ 2020-11-13 09:46 zj_Rules 阅读(1001) 评论(0) 推荐(0)

python resource 内存资源限制

摘要： python resource 内存资源限制阅读全文

posted @ 2020-11-13 09:45 zj_Rules 阅读(1410) 评论(0) 推荐(0)

2019年8月7日

flask 异步celery使用

摘要：在开发过程中，耗时长，超时的任务经常发生，比如：获取后端某个大文件数据超时、需要后端计算任务超时，等等，此时我们就会很自然的想到异步方式，根据需要完成的任务创建一个task_id, 由前端来监听该任务是否完成。本文主要分享：flask中实现异步功能--celery，【后续django异步待更新】阅读全文

posted @ 2019-08-07 11:05 zj_Rules 阅读(441) 评论(1) 推荐(0)

2018年12月15日

win7 python pdf2image入坑经历

摘要： Python开发菜鸟入坑项目要求pdf转成图片，网上较多的方案对于windows极其不友好，wand，Pythonmagick（win下载地址：www.lfd.uci.edu/~gohlke/pythonlibs/#pythonmagick），imagemagick（win下载地址：www.ima 阅读全文

posted @ 2018-12-15 21:46 zj_Rules 阅读(2591) 评论(0) 推荐(0)