hadoop上线和下线节点

在运行中的ambari hadoop集中中动态添加或删除节点

1. 下线节点
1) namenode节点上dfs.exclude文件,看配置文件怎么配置的,里每行添加一个服务器名,如我要下线server7,server8,server9,则如下:
server7
server8

resourcemanager节点上yarn.exclude文件里每行添加一个服务器名,如我要下线server7,server8,server9,则如下:
server7
server8

2) 选择任意一台节点执行:
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
yarn node -list

3) 这时可以通过hdfs dfsadmin -report或者web界面查看该datanode状态转为Decommission In Progress。
如果节点上数据比较多,下线会比较慢,等待。
当datanode完成数据迁移时,状态会变为Decommissioned,继续下面操作。

4) 删除dfs.exclude中下线节点的hosts,重新刷新:
hdfs dfsadmin -refreshNodes

5) 删除slaves中下线节点的hosts


2. 上线节点
上线节点基本与下线相同
1) slaves文件里每行添加一个上线服务器名,同时保证dfs.exclude文件为空。

2) ./hdfs dfsadmin -refreshNodes

3) 在要上线的节点上启动datanode:
./hadoop-daemon.sh start datanode

4) 如需要启动nodemanager,则执行:
./yarn-daemon.sh start nodemanager

5) 修改slaves,添加上线节点的hosts

posted @ 2018-03-02 09:18  硅谷工具人  阅读(3292)  评论(1)    收藏  举报
成功之道,在于每个人生阶段都要有不同的目标,并且通过努力实现自己的目标,毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福,同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知,修身齐家治国平天下。