【HDFS】相关概念及常用命令
本文用于记录Hadoop中HDFS相关概念以及常用命令，以便日后查询。
概念之间无先后顺序，只是用于记录。
参考的Hadoop的版本是2.7.3
1. 角色
hadoop fs [hdfs dfs] // 普通用户
hdfs dfsadmin // hdfs管理员
2. edit日志和fsimage文件融合
a. hadoop集群启动时融合
生成新的inprogress_edits日志文件，将旧的inprogress_edits日志文件与fsimage文件融合，但是不生成新的fsimage文件
b. SecondaryNamenode周期生成检查点，进行融合（并不生成检查点）
生成新的inprogress_edits日志文件，将旧的inprogress_edits日志文件与fsimage文件拷贝到secondaryNamenode中，逐一执行edits日志文件中的指令，并写进fsimage文件中，生成一个检查点文件，将检查点文件拷贝到namenode中，重命名检查点，即去掉后缀，并使之生效
c. 手动融合，进入安全模式，保存命名空间
生成新的inprogress_edits日志文件，将旧的inprogress_edits日志文件与fsimage文件融合，写进一个新的fsimage文件中
3. dfs.hosts / dfs.hosts.exclude
a. 说明： slaves.sh 中配置的节点信息只是说明在集群启动的时候启动这些节点，而这些节点能否连上 resourcemanager ，需要配置这两个属性
b. 若没有配置这两个属性，则默认情况下，属性值为空，表示所有节点都能连
c. 在 hdfs-site.xml 文件中配置 dfs.hosts / dfs.hosts.exclude 属性
d. 属性值是文件的绝对路径，可在 hadoop 配置目录下创建 dfs.hosts.include / dfs.hosts.exclude 两个文件
e. 文件中的内容是 slaves.sh 中配置的节点
f. 属性优先级： include > exclude
| dfs.hosts | dfs.hosts.exclude | 说明 |
| 0 | 0 | 不能连 |
| 0 | 1 | 不能连 |
| 1 | 0 | 能连 |
| 1 | 1 | 能连，但是显示decommissioning，即不可用，但文件能够存储在该节点上 |
g. 重新配置后，可刷新节点，而无需重启集群
hdfs dfsadmin -refreshNodes
4. safemode(安全模式)
a. dfsadmin 手动进入
b. 安全模式下，不可put文件
c. 安全模式下，可手动融合edits日志和fsimage文件，即保存命名空间
d. 安全模式下，不可向hdfs文件系统中写入数据，比如，put文件，创建目录...
e. 常用命令
hdfs dfsadmin -safemode get // 获取当前是否在安全模式下
hdfs dfsadmin -safemode enter // 手动进入安全模式
hdfs dfsadmin -safemode leave // 手动离开安全模式
hdfs dfsadmin -safemode wait // 等待退出安全模式，一般在脚本中使用
5. 目录快照
a. 默认情况下，目录是不允许创建快照的
b. 需要管理员允许目录快照
hdfs dfsadmin -allowSnapshot <dirname>
c. 创建快照
hadoop fs -createSnapshot <dirname> <snapname>
快照保存在<dirname>/.snapshot/<snapname>下
d. 重命名快照
hadoop fs -renameSnapshot <dirname> <oldSnapname> <newSnapname>
e. 删除快照
hadoop fs -deleteSnapshot <dirname> <snapname>
6. 回收站
a. 每个用户都有一个回收站，在 /user/xw(用户名)/.Trash下
b. 回收站默认保存时间是 0s，即禁用回收站，可在core-site.xml中配置fs.trash.interval属性设置
c. shell中的删除是进回收站的，而编程中的删除是不进入回收站的，直接被删除，除非调用moveToTrash()方法
d. 清空回收站
1) hadoop fs -expunge 或者 超过fs.trash.interval设置的时间，则将回收站内的文件设置检查点，放到时间戳表示的文件夹下
2) 配置fs.trash.checkpoint.interval属性，设置间隔多长时间检查回收站的检查点中的文件，若该属性的值为0，则和fs.trash.interval属性值相同,将其删除
3) fs.trash.checkpoint.interval属性 <= fs.trash.interval属性值
7. 配额(也可以叫限制)
a. 配额：hdfs dfsadmin -setQuota <quota> <dirname>
即设置该<dirname>中元素的个数，该元素包括文件，目录，以及子元素
<quota> > 0
b. 空间配额：hdfs dfsadmin -setSpaceQuota <quota> <dirname>
即设置该<dirname>中物理空间的大小
<quota> > 0，比如 10[B]，10m，10g
8. image/edits查看器
a. oiv(offline image viewer)
hdfs oiv -i imagefile -o outputfile -p processor(XML)
b. oev(offline edits viewer)
hdfs oev -i editsfile -o outputfile -p processor(XML)
