2020年3月26日

spark history与yarn ui互通

摘要： 1、背景： 在已经配置了spark history的基础上，我们已经成功运行了spark了，通过yarn web ui界面任务的Tracking URL：History链接去查看任务历史运行情况，发现点击后还是在当前页 例如： 原因是： 我们在运行spark任务后，默认是由AM进行历史任务汇聚，拼接 阅读全文

posted @ 2020-03-26 21:13 gentleman_hai 阅读(2237) 评论(0) 推荐(0) 编辑

spark history界面incomplete不展示任务的原因

摘要： 1、背景： 在做spark history complete和incomplete测试的时候，我们使用spark-shell启动了一个on yarn的任务，如果我们只是启动了，没有进行任何计算的话，那么我们在incomplete里面是看读的任务的，退出的时候可以在complete中可以看到，那么为什 阅读全文

posted @ 2020-03-26 20:36 gentleman_hai 阅读(1179) 评论(0) 推荐(0) 编辑

导航