hadoop系统宕机,解决办法

1,如果是mr程序导致的。需要考虑控制集群运行任务的并行度;控制单个任务可以申请的最大内存。

2,如果是namenode宕机了,需要考虑控制写入的速度。可以使用kafka来做中间缓存,kafka存储大小,控制kafka写入hdfs的速度。

posted @ 2020-06-16 11:41  大数据码农  阅读(1306)  评论(0)    收藏  举报