hdfs 3备份 2备份

记录一次hdfs磁盘满了的非常规操作

研发环境最近压测一个东西，导了一个月的数据，3备份，对数据进行一些加工后，数据量直接把hdfs压满了。

 

我的天，太恐怖了，和领导请示后，给集群解压（咱们也没办法呀，资源不够）

怎么解压呢？首先通过cdh的hdfs的配置选项：将dfs.replication由3改为2

dfs.replication
2

改完重启了研发集群，理论上这个hdfs会自动把多复制的那个块删掉吧？

万万没想到，观察了半个小时，没有效果啊

搜了搜万能的百度：决定手动暴力把hdfs上已经存在的数据改为2备份

#hdfs用户
hadoop fs  -setrep 2 /


#全目录所有文件瞬间都改成2备份，效果杠杠的啊，集群存储马上有了空间

 

 思考：通过修改参数应该只会对新进入hdfs的文件会快速产生影响，对于已经存在hdfs上的文件需要多久才能变成2备份呢？

 

咱们不知道，也不敢问啊。

 

6台机器存储有点不均匀：做一个负载均衡美滋滋 

#存储不均匀：手动balance

hdfs用户

hdfs balancer