HDFS的shell命令

启动hdfs集群

访问HDFS的命令

1. 创建目录

hdfs dfs -mkdir (-p) /目录
hdfs dfs -mkdir /data
hdfs dfs -mkdir -p /a/b/c/d/e/f/g

2. 上传指令

格式：hdfs dfs -put /本地文件 /分布式文件系统

hdfs dfs -put a1 /data

---

3. 创建空文件

hdfs dfs -touchz /empty/empty01

---

4. 向HDFS中的文件添加内容

格式：hdfs dfs -appendToFile 本地文件 hdfs上的文件

5. 下载指令

格式：hdfs dfs -get hdfs上的文件或目录 本地目录

6. 合并下载

格式：hdfs dfs -getmerge hdfs上的路径 本地的路径

7. 移动hdfs的文件或更名

7.1 将file*的文件移动到data文件夹中

hdfs dfs -mv /file* /data

7.2 更改文件夹test为test01

hdfs dfs -mv /test /test01

8. 复制hdfs的文件到另一文件夹

8.1 将data文件夹的file01文件拷贝一份到根目录

hdfs dfs -cp /data/file01 /

9. 删除指令

9.1 删除根目录下的file01文件

hdfs dfs -rm /file01

9.2 删除根目录的a文件夹

hdfs dfs -rm -r /a

9.3 删除根目录下的test01文件夹(此指令只能删除空文件夹)

hdfs dfs -rmdir /test01

10. 查看磁盘利用率和文件大小

10.1 查看磁盘的使用情况

hdfs dfs -df /

---

10.2 查看磁盘的使用情况

hdfs dfs -df -h /

---

10.3 查看data文件夹的每个文件使用情况

hdfs dfs -du -h /data

---

10.4 查看data文件夹总文件的使用情况

hdfs dfs -du -h -s /data

---

11. 修改权限

11.1 修改data文件夹的权限为777

hdfs dfs -chmod 777 /data

11.2 修改data文件夹的拥有者和组为shawn

hdfs dfs -chown shawn:shawn /data

12. 修改文件的副本数

12.1 修改data目录下的文件副本数为5

hdfs dfs -setrep 5 /data

---

13. 查看文件的状态

hdfs dfs [generic options] -stat [format] <path> ...
命令的作用:当向hdfs上写文件时，可以通过dfs.blocksize配置项来设置文件的block的大小。这就导致了hdfs上的不同的文件block的大小是不相同的。有时候想知道hdfs上某个文件的block大小，可以预先估算一下计算的task的个数。stat的意义：可以查看文件的一些属性。
调用格式:hdfs dfs -stat [format] 文件路径
format的形式：
%b：打印文件的大小（目录大小为0）
%n：打印文件名
%o：打印block的size
%r：打印副本数
%y：utc时间 yyyy-MM-dd HH:mm:ss
%Y：打印自1970年1月1日以来的utc的微秒数
%F：目录打印directory，文件打印regular file

---

13.1 查看data目录的file01文件的创建时间和大小

hdfs dfs -stat time:%y,size:%b /data/file01

---

14. 测试

参数说明:-e:文件是否存在 存在返回0 -z:文件是否为空 为空返回0 -d:是否是路径(目录) ,是返回0

14.1 判断data目录下的file01文件是否存在

 hdfs dfs -test -e /data/file01 && echo "exists" || echo "no exists"

---

14.2 判断data目录下的file09文件是否存在

hdfs dfs -test -e /data/file09 && echo "exists" || echo "no exists"