HDFS中NameNode和SecondaryNameNode解析

1. NameNode 中的元数据是存储位置

​        如果存储在 NameNode 节点的磁盘中，因为经常需要进行随机访问，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。

​        这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新 FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode 节点断电，就会产生数据丢失。因此，引入 Edits 文件（只进行追加操作，效率很高）。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到 Edits 中。这样，一旦 NameNode 节点断电，可以通过 FsImage 和 Edits 的合并，合成元数据。

​        但是，如果长时间添加数据到 Edits 中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行 FsImage 和 Edits 的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于 FsImage 和 Edits 的合并。

• Fsimage：记录HDFS文件系统元数据的镜像快照
• Edits：记录客户端对进行的所有的增、删、改、追加等操作
• Fsimage和Edits作用：用于还原集群上次关闭时的状态。还原时将两个文件加载到内存，检查、合并最终生成 一个新的Fsimage 。原本的Edits失效。

2. NameNode和SecondaryNameNode工作机制

[图片来源于网络]

• NameNode启动
  （1）如果是是第一次启动，会创建Fsimage和Edits文件。如果不是，则加载Fsimage和Edits到内存中。
  （2）client端对元数据进行增删改的操作，NameNode记录操作日志
  （3）NameNode在内存中对元数据进行增删改操作
• SecondaryNameNode工作机制
  （1）SecondaryNameNode周期性的询问NameNode是否需CheckPoint。返回NameNode是否检查结果
  （2）SecondaryNameNode请求执行CheckPoint
  （3）NameNode滚动正在写的Edits日志
  （4）将滚动前的编辑日志和镜像文件拷贝到SecondaryNameNode
  （5）SecondaryNameNode加载编辑日志和镜像文件到内存，并合并
  （6）生成新的镜像文件fsimage.chkpoint
  （7）拷贝 fsimage.chkpoint到NameNode
  （8）NameNode将fsimage.chkpoint重新命名成fsimage替换旧的fsimage
• 检查点CheckPoint
  • SecondaryNameNode节点定期的把NameNode的fsimage和edits下载到本地，再将它们加载到内存并进行合并，最后把合并后新的 fsimage 返回NameNode，这个过程叫做CheckPoint。其主要作用就是减少NameNode的启动时间
  • 检查触发条件
    • 每隔60分钟执行
      hdfs-default.xml 默认HDFS属性配置文件，位于hadoop-hdfs-*.jar下

      <property>
      	<name>dfs.namenode.checkpoint.period</name>
      	<value>3600s</value>
      </property>
      

    • 一分钟检查一次，当操作次数到达1000000次是执行

      <property>
      	<name>dfs.namenode.checkpoint.txns</name>
      	<value>1000000</value>
      	<description>操作动作次数</description>
      </property>
      <property>
      	<name>dfs.namenode.checkpoint.check.period</name>
      	<value>60s</value>
      	<description>1分钟检查一次操作次数</description>
      </property>
      

5. Fsimage和Edits文件查看命令

5.1 配置 fsimage和edits存储目录
[hdfs-site.xml]

<property>
	<name>dfs.namenode.name.dir</name>
	<value>/root/apps/hadoop-3.1.3/datas/namenodeDatas</value>
</property>
<property>
	<name>dfs.namenode.edits.dir</name>
	<value>/root/apps/hadoop-3.1.3/datas/edits</value>
</property>

注意：添加了此配置，需要格式化namenode：hdfs namenode -format
5.2 查看命令

• 查看fsimage文件

​ hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径

hdfs oiv -p xml -i fsimage_0000000000000000000 -o /root/apps/logs/fsimage.xml

• 查看edits文件
  hdfs oev -p 文件类型 -i 镜像文件 -o 转换后文件输出路径

hdfs oev -p xml -i edits_inprogress_0000000000000000001 -o /root/apps/logs/edits.xml