hadoop系统宕机,解决办法
1,如果是mr程序导致的。需要考虑控制集群运行任务的并行度;控制单个任务可以申请的最大内存。
2,如果是namenode宕机了,需要考虑控制写入的速度。可以使用kafka来做中间缓存,kafka存储大小,控制kafka写入hdfs的速度。
1,如果是mr程序导致的。需要考虑控制集群运行任务的并行度;控制单个任务可以申请的最大内存。
2,如果是namenode宕机了,需要考虑控制写入的速度。可以使用kafka来做中间缓存,kafka存储大小,控制kafka写入hdfs的速度。