Hadoop NameNode(SecondaryNameNode) Fsimage和Edits解析

NameNode被格式化之后,将在NameNode目录下产生一些文件

1.Fsimage文件

Fsimage文件是HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和文件inode的序列化信息

查看Fsimage文件

hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件的输出路径
hdfs oiv -p XML -i fsimage_0000000000000000049 -o /home/fanqi/fsimage.xml

2.Edits文件

Edits文件存放了HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到Edits文件中。

查看Edits文件

hdfs oev -p 文件类型 -i 编辑日志文件 -o 转换后文件的输出路径
hdfs oev -p XML -i edits_0000000000000000038-0000000000000000049 -o /home/fanqi/edits.xml

3.seen_txid文件

seen_txid文件存放了一串数字,记录下最后一个Edits的数字。

每次NameNode启动的时候都会将Fsimage文件读入内存,加载Edits里面的更新操作,保证内存中的元数据信息是最新的、同步的,可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并

posted @ 2023-12-12 14:35  SpringCore  阅读(33)  评论(0编辑  收藏  举报