摘要: 只有满怀自信的人,能在任何地方都怀有自信,沉浸在生活中,并认识自己的意志。 前言 最近公司有一个生产的小集群,专门用于运行spark作业。但是偶尔会因为nn或dn压力过大而导致作业checkpoint操作失败进而导致spark 流任务失败。本篇记录从应用层面对spark作业进行优化,进而达到优化集群 阅读全文
posted @ 2020-04-24 21:46 JohnnyBai 阅读(2142) 评论(2) 推荐(1) 编辑