hadoop hdfs 命令大全

Hadoop HDFS 命令大全

基本文件操作命令

1. 列出目录内容

   hdfs dfs -ls <路径>
   hdfs dfs -ls -R <路径>  # 递归列出
   

2. 创建目录

   hdfs dfs -mkdir <路径>
   hdfs dfs -mkdir -p <路径>  # 创建多级目录
   

3. 上传文件

   hdfs dfs -put <本地文件> <HDFS路径>
   hdfs dfs -copyFromLocal <本地文件> <HDFS路径>  # 等同于put
   

4. 下载文件

   hdfs dfs -get <HDFS文件> <本地路径>
   hdfs dfs -copyToLocal <HDFS文件> <本地路径>  # 等同于get
   

5. 查看文件内容

   hdfs dfs -cat <HDFS文件>
   hdfs dfs -tail <HDFS文件>  # 查看文件尾部
   

6. 删除文件/目录

   hdfs dfs -rm <HDFS文件>
   hdfs dfs -rm -r <HDFS目录>  # 递归删除
   

7. 移动/重命名文件

   hdfs dfs -mv <源路径> <目标路径>
   

8. 复制文件

   hdfs dfs -cp <源路径> <目标路径>
   

文件权限管理

1. 修改文件权限

   hdfs dfs -chmod <权限模式> <路径>
   

2. 修改文件所有者

   hdfs dfs -chown <用户>:<组> <路径>
   

3. 修改文件所属组

   hdfs dfs -chgrp <组> <路径>
   

文件系统管理

1. 查看磁盘使用情况

   hdfs dfs -df  # 显示文件系统容量
   hdfs dfs -du -h <路径>  # 显示目录/文件大小
   

2. 统计文件/目录信息

   hdfs dfs -count <路径>
   

3. 设置文件副本数

   hdfs dfs -setrep <副本数> <路径>
   

4. 合并小文件

   hdfs dfs -getmerge <HDFS目录> <本地合并文件>
   

5. 创建空文件

   hdfs dfs -touchz <文件名>
   

高级管理命令

1. 平衡数据节点

   hdfs balancer
   

2. 检查文件系统

   hdfs fsck <路径>  # 检查文件系统健康状况
   

3. 查看文件块信息

   hdfs fsck <文件路径> -files -blocks -locations
   

4. 进入安全模式

   hdfs dfsadmin -safemode enter
   hdfs dfsadmin -safemode leave
   

5. 查看HDFS状态

   hdfs dfsadmin -report
   

其他实用命令

1. 查看命令帮助

   hdfs dfs -help
   

2. 测试文件系统

   hdfs dfs -test -[ezd] <路径>  # -e存在 -z空文件 -d目录
   

3. 显示文件校验和

   hdfs dfs -checksum <文件>
   

4. 归档文件(HAR)

   hadoop archive -archiveName <名称>.har -p <父目录> <源目录> <目标目录>
   

5. 快照管理

   hdfs dfsadmin -allowSnapshot <目录>
   hdfs dfs -createSnapshot <目录> [<快照名>]
   

注意：所有命令需要在Hadoop环境中执行，且用户需要有相应权限。部分管理命令需要管理员权限。