HDFS的可靠性
HDFS的可靠性
1、冗余副本策略 2、机架策略 3、心跳机制 4、安全模式
5、校验和 6、回收站 7、元数据保护 8、快照机制
1、冗余副本策略
可以在hdfs-site.xml中设置复制因子指定副本数量
所有数据块都有副本
Datanode启动时，遍历本地文件系统，产生一份hdfs数据块和本地文件的对应关系列表（blockreport）汇报给namenode
2、机架策略
集群一般放在不同机架上，机架间带宽要比机架内带宽要小
HDFS的“机架感知”
一般在本机架存放一个副本，在其它机架再存放别的副本，这样可以防止机架失效时
丢失数据，也可以提高带宽利用率
3、心跳机制
Namenode周期性从datanode接收心跳信号和块报告
Namenode根据块报告验证元数据
没有按时发送心跳的datanode会被标记为宕机，不会再给它任何I/O请求
如果datanode失效造成副本数量下降，并且低于预先设置的阈值，namenode会检测出这些数据块，并在合适的时机进行重新复制
引发重新复制的原因还包括数据副本本身损坏、磁盘错误，复制因子被增大等
4、安全模式
Namenode启动时会先经过一个“安全模式”阶段
安全模式阶段不会产生数据写
在此阶段Namenode收集各个datanode的报告，当数据块达到最小副本数以上时，
会被认为是“安全”的
在一定比例（可设置）的数据块被确定为“安全”后，再过若干时间，安全模式结束
当检测到副本数不足的数据块时，该块会被复制直到达到最小副本数
5、校验和
在文件创立时，每个数据块都产生校验和
校验和会作为单独一个隐藏文件保存在命名空间下
客户端获取数据时可以检查校验和是否相同，从而发现数据块是否损坏
如果正在读取的数据块损坏，则可以继续读取其它副本
6、回收站
删除文件时，其实是放入回收站/trash
回收站里的文件可以快速恢复
可以设置一个时间阈值，当回收站里文件的存放时间超过这个阈值，就被彻底删除，并且释放占用的数据块
7、元数据保护
映像文件刚和事务日志是Namenode的核心数据。可以配置为拥有多个副本
副本会降低Namenode的处理速度，但增加安全性
Namenode依然是单点，如果发生故障要手工切换
8、快照机制
支持存储某个时间点的映像，需要时可以使数据重返这个时间点的状态
Hadoop目前还不支持快照，已经列入开发计划
怎样添加新节点？
在新节点安装好hadoop
把namenode的有关配置文件复制到该节点
修改masters和slaves文件，增加该节点
设置ssh免密码进出该节点
单独启动该节点上的datanode和tasktracker（hadoop-daemon.sh start datanode/tasktracker）
运行start -balancer.sh进行数据负载均衡
负载均衡：
作用：当节点出现故障，或新增加节点时，数据块分布可能不均匀，负载均衡可以重新平衡各个datanode上数据块的分布
