2020年8月2日

spark on k8s too old Resource issue

摘要:问题描述 spark作业使用airflow调度,运行在k8s集群上,如果作业运行时间长超过一小时(甚至更短)则会出现too old Resource问题,造成airflow的hook无法正确判断作业运行完成的状态,然后重试作业。 airflow 是根据返回的日志中exit number部分,numb 阅读全文

posted @ 2020-08-02 14:56 tneduts 阅读(48) 评论(0) 推荐(0) 编辑

导航