NN与2NN的关系解析

1.NN与2NN的工作机制

第一阶段:Namenode的启动

●第一次启动NameNode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。

●客户端对元数据进行增删改的请求。

●NameNode记录操作日志,更新滚动日志。

●NameNode在内存中对数据进行增删改查。

第二阶段:Secondary  Namenode的启动

●Secondary NameNode询问NameNode是否需要checkpoint。直接带回NameNode是否检查结果。

●Secondary NameNode请求执行checkpoint。

●NameNode滚动正在写的edits日志。

●将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

●Secondary NameNode加载编辑日志和镜像文件到内存,并合并。

●生成新的镜像文件fsimage.chkpoint。

●拷贝fsimage.chkpoint到NameNode。

●NameNode将fsimage.chkpoint重新命名成fsimage。

 

 2.Fsimage和Edits解析

Namenode被格式化后将在/hadoop-2.7.3/data/tmp/hdfs/name/current目录下产生以下文件:

    ① Fsimage文件:HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。

    ② Edits文件:存放HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到edits文件中。

posted on 2020-11-12 13:38  happygril3  阅读(665)  评论(0)    收藏  举报

导航