spark on k8s too old Resource issue
摘要：
问题描述 spark作业使用airflow调度，运行在k8s集群上，如果作业运行时间长超过一小时（甚至更短）则会出现too old Resource问题，造成airflow的hook无法正确判断作业运行完成的状态，然后重试作业。 airflow 是根据返回的日志中exit number部分，numb 阅读全文
posted @ 2020-08-02 14:56 tneduts 阅读(446) 评论(0) 推荐(0) 编辑
