Hadoop修改副本数并使之生效

随着hadoop集群数据量增大，以及机器的不断扩容，修改副本数量降本增效是很常见的做法

1、配置hdfs-site.xml参数 dfs.replication

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

　　注：所有节点修改后，需要重启dfs相关服务(包含NameNode、DataNode；可使用start-dfs.sh)，否则参数将不生效；生效后只有新加入的数据才会使用这个副本数量，历史数据还是原来的副本数，需要手动调整。

2、测试副本数量

hdfs fsck /xxxx/xxx

　　上传文件后，使用hdfs fsck /xxx 命令查看是否生效；

3、手动修改历史在线副本数，为2副本

hadoop dfs -setrep 2 -R /xxxx/

hadoop dfs -setrep -R -w 2 /xxxx

　　选项是-w，表示等待副本操作结束才退出命令