hadoop balance

在要balance的slave执行:

start-balancer.sh -threshold 10

或 ./hadoop balancer -threshold 10

 

 

由于hadoop集群的机器磁盘容量大小不等,造成磁盘使用率不同,有的使用了10%,而有的已经100%,这个对整个系统的运行是有问题的。

暂时还没有找到控制磁盘使用率的参数,可以通过hadoop命令行来手动调节磁盘的使用情况。

> hadoop balancer -Threshold 20

或者 sh $HADOOP_HOME/bin/start-balancer.sh –t 20%

参数20是比例参数,表示20%,也就是平各个DataNode直接磁盘使用率偏差在20%以内。

posted @ 2012-06-04 18:46  ccmaotang  阅读(596)  评论(0编辑  收藏  举报