摘要：一、问题背景 考虑到 Hadoop 3.0.0 的新特性 EC 码，HDFS 在存储数据时能获得很好的压缩比，同时 Hadoop 2.6.0 集群 HDFS 存储压力较大，我们将 Hadoop 2.6.0 集群的数据冷备到 Hadoop 3.0.0，来缓解 HDFS 存储的压力，但在冷备操作进行了一 阅读全文

摘要：本文主要介绍 Hadoop 常用的命令。 test命令 用于检测文件或目录是否存在，判断文件或目录大小。 用例： 1.判断文件或目录是否存在 2.判断文件或目录大小是否为0 【参考资料】 [1]. https://hadoop.apache.org/docs/r2.6.0/hadoop-projec 阅读全文

摘要：执行hadoop任务时报错： 产生原因： 以上报错原因基本都是由于HDFS上的文件异常结束导致的，通过查看log，发现/flume/nginx/app1/2019-06-05/00/app1@flume23_10003_4.1559665890953.gz:0+0 这个文件的大小为0字节。要理解空文 阅读全文

摘要：一、定时删除linux上定时的文件 显示20分钟前的文件 find /tmp/ -type f -mmin +20 -exec ls -l {} \; 删除20分钟前的文件 find /tmp/ -type f -mmin +20 -exec rm {} \; 显示20天前的文件 find /tmp 阅读全文

摘要：分布式文件系统HDFS中对文件/目录的相关操作代码，整理了一下，大概包括以下部分： 文件夹的新建、删除、重命名 文件夹中子文件和目录的统计 文件的新建及显示文件内容 文件在local和remote间的相互复制 定位文件在HDFS中的位置，以及副本存放的主机 HDFS资源使用情况 1. 新建文件夹 2 阅读全文