Hadoop基础之新节点的服役与旧节点的退役

Hadoop基础之新节点的服役与旧节点的退役

Hadoop基础之新节点的服役与旧节点的退役

修改节点之停止服务修改

• 停止服务
• 配制ssh免密登录
• 修改同步脚本
• 修改hosts文件
• 修改slaves文件
• 格式化
• 重新启动服务

修改节点之热部署修改

• 服役新节点
• 创建一个新节点、修改IP、主机名
• 配制ssh免密登录
• 修改hosts文件，同步到所有节点
• 创建一个文件，文件名自拟，放置在想放的路径下
• 编辑文件，文件内容为已经上线的DataNode节点名，以及要添加的全部节点
• 修改hdfs-size.xml文件
• dfs.hosts

<property>
    <name>dfs.hosts</name>
    <value>a文件的路径</value>
</property>

 

• 修改slaves文件，将新节点名写入
• 同步修改过的文件
• 刷新节点
• hdfs   dfsadmin   -refreshNodes
• yarn   rmadmin   -refreshNodes
• 在新节点启动服务
• hadoop-daemon.sh   start   datanode
• 验证
• 在WebUI界面查看新节点是否处于In   Service 状态
• 如果数据不均衡
• start-balancer.sh
• 退役旧节点
• 创建一个文件，文件名自拟，放置在想放的路径下
• 编辑文件，文件内容为要退役节点的节点名
• 修改hdfs-size.xml文件
• dfs.hosts.exclude

<property>
    <name>dfs.hosts.exclude</name>
    <value>文件的路径</value>
</property>

 

• 修改slaves文件，删除要退役的节点
• 同步修改过的文件
• 刷新节点
• hdfs   dfsadmin   -refreshNodes
• yarn   rmadmin   -refreshNodes
• 验证
• 退役的节点进入正在退役状态
• 正在退役的节点将已有数据分配给其他节点
• 当退役节点从正在退役状态转变成已退役状态，数据迁移已经完成，节点变成不可用状态
• 此时，退役节点对其他节点具有可见性，但退役节点不再可用，有数据上传也不会向退役节点进行存储
• 如果集群重启服务，退役节点将不具有可见性，彻底脱离集群
• 关闭退役节点的服务
• hadoop-daemon.sh   stop   datanode