Hadoop 小文件归档

1.集群间数据拷贝

hadoop distcp  hdfs://haoop102:9000/user/hello.txt   hdfs://hadoop103:9000/user/hello.txt

2.小文件归档

 小文件消耗NameNode中大部分内存。

hadoop fs -ls -R  /usr/output/

归档成一个大文件：

hadoop archive  -archiveName  input.har  -p   /user/input/   /user/opt/output/

会在 /user/opt/output/ 生成一个文件名为input.har的文件 

/user/opt/output/input.har

hadoop fs -ls -R /usr/output/input.har

hadoop fs -ls -R  har:///usr/output/input.har

3. 回收站

fs.trash.interval=0, 禁用回收站

fs.trash.checkpoint.interval=0

 

 

4.快照