HDFS的垃圾回收机制

HDFS的垃圾回收机制

1． 垃圾桶机制解析

每一个文件系统都会有垃圾桶机制，便于将删除的数据回收到垃圾桶里面去，避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据，都可以进行恢复。

2． 垃圾桶机制配置

HDFS的垃圾回收的默认配置属性为0，也就是说，如果不小心误删除了某样东西，那么这个操作是不可恢复的

修改Hadoop包下 /etc/hadoop/core-site.xml 文件

cd /export/servers/hadoop-3.3.0/etc/hadoop
vim mapred-site.xml

• 可以按照生产上的需求设置回收站的保存时间，这个时间以分钟为单位，例如1440 = 24h = 1天

  <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
   </property>

• 注意：需要配置到集群的每个机器中，然后重启hdfs集群生效

3． 垃圾桶机制验证

如果启用垃圾箱配置，dfs命令删除的文件不会立即从HDFS中删除。相反，HDFS将其移动到垃圾目录（每个用户在/user//.Trash下都有自己的垃圾目录）。只要文件保留在垃圾箱中，文件可以快速恢复。

使用skipTrash选项删除文件，该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。

• 只是做了一个移动，并没有真正的删除（变成了一个隐藏文件）

• 在node1 根目录下 /user/root/.Trash/目录下

# 恢复文件到根目录下
hadoop fs -cp /user/root/.Trash/Current/itcast.txt /

# 指定跳过垃圾桶，直接删除
hadoop fs -rm -skipTrash /itcast.txt