2022年5月8日
Spark排错与优化
摘要： 一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的event log日志去生成Sparkui，内存不足自然会OOM，可以在master的运行日志中看到，通过HA启动的master 阅读全文
posted @ 2022-05-08 13:03 linhaifeng 阅读(594) 评论(0) 推荐(0) 编辑