Hadoop委任和解除节点

 一.Hadoop集群重启需要注意：

方法①：直接重启集群，重启完成后，需要执行如下命令：

hadoop fsck / -openforwrite | egrep -v '^\.+$' | egrep "MISSING|OPENFORWRITE" | grep -o "/[^ ]*" | sed -e "s/:$//" | xargs -i hadoop fs -rmr {};

 

方法②：进行集群重启前先停止flume，然后再进行重启集群操作。

 

二、集群上下线步骤：

新节点上线步骤：

①：将新节点网络地址添加到allowed_hosts文件中

②运行以下命令

hdfs dfsadmin -refreshNodes

yarn rmadmin -refreshNodes 

③将新节点更新到slaves文件中

④启动新的datanode以及nodemanger

⑤检查新节点是否更新至集群中

下线节点或者下线损坏磁盘节点：

①将下线节点添加至exclude_hosts文件中，不更新allowed_hosts文件

②执行以下命令

hdfs dfsadmin -refreshNodes

yarn rmadmin -refreshNodes

③查看集群，下线节点是否处于正在解除状态（Decommission In Progress）

④等待下线节点状态变为解除完毕时（Decommissioned ）从allowed_hosts文件中解除这些节点

并执行以下命令：

hdfs dfsadmin -refreshNodes

yarn rmadmin -refreshNodes 

⑤从slaves文件中解除节点

⑥查看节点是否解除完成

ps：以上操作在namenode节点操作即可。配置文件相关路径：/home/pirate/programs/hadoop/etc/hadoop  ；

参考：

1.委任新节点

 

 注：

新增完节点去HDFS页面进行查看节点状态，是否在服务中，如果状态为Decommissioned（退役）状态，

则检验次节点是否包含在exclude文件中，如果存在，则删除，再次进行刷新节点操作（在namenode节点进行操作）

2.解除旧节点

 

 

ps：涉及到的刷新及更改文件操作，在namenode节点操作即可，如果启动单个节点，去相关的节点去操作即可。