暑假第六周

fsck命令检查文件的副本数
2 hedoop supergrouphadoop supergroup
同时，我们可以使用hdfs提供的fsck命令来检查文件的副本数hdfs fsck path [-files [-blocks [-locations]]]fsck可以检查指定路径是否正常
-files可以列出路径内的文件状态
-files -blocks 输出文件块报告 (有几个块，多少副本
-files -blocks -locations 输出每一个block的详情

block配置
可以看到通过fsck命令我们验证了
文件有多个副本
文件被分成多个块存储在hdfs
对于块(block)，hdfs默认设置为256MB一个，也就是1GB文件会被划分为4个block存储块大小可以通过参数:
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
<description>设置HDFS块大小，单位是b</description></property>
如上，设置为256MB

edits文件
在hdfs中，文件是被划分了一堆堆的block块，那如果文件很大、以及文件很多，Hadoop是如何记录和整理文件和block块的关系呢?
答案就在于NameNode

NameNode元数据管理维护
NameNode基于edits和FSImage的配合，完成整个文件系统文件的管理。
-
1.每次对HDFS的操作，均被edits文件记录
2.edits达到大小上线后，开启新的edits记录
3定期进行edits的合并操作
如当前没有fsimage文件，将全部edits合并为第一个fsimage如当前已存在fsimage文件，将全部edits和已存在的fsimage进行合并，形成新的fsimage