Hadoop数据倾斜问题矫正

集群中发现有一个节点占用的空间特别多，而其它节点相对来说占用空间很少。

 

启动hadoop的负载均衡服务

#启动数据均衡，默认阈值为 10%
start-balancer.sh

#启动数据均衡，阈值 5%
start-balancer.sh –threshold 5

#停止数据均衡
stop-balancer.sh

 

 查看数据备份是否有损坏丢失

# hdfs fsck /hbase

# hdfs fsck /