datanode工作机制

datanode工作机制

1、datanode介绍

HDFS分布式文件系统也是一个主从架构：
	1、主节点是我们的namenode，负责管理整个集群以及维护集群的元数据信息
	2、从节点datanode，主要负责文件数据存储

1、一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件

一个数块数据，另一个是块的元数据

2、DataNode启动后向namenode注册，通过后，周期性（6小时）的向namenode上报所有的块信息

3、心跳是每3秒一次

• 心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。
• 如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。

4、集群运行中可以安全加入和退出一些机器

2、客户端如何获取到块数据

1、客户端先向namenode发送信息说我要查询数据
2、namenode记录了所有datanode数据，然后告诉客户端你需要在哪个机器上查找
3、然后客户端就到对应的块中查找
4、如果某个datanode挂掉了，相应的回去找它的副本。