HDFS shell命令

访问HDFS：
hdfs hds

注意事项：
创建目录时候写绝对路径

创建目录：
hdfs dfs -mkdir /data
注意事项：
创建目录可能报
#mkdir: Cannot create directory /data. Name node is in safe mode.
解决办法：
关闭安全模式
hadoop dfsadmin -safemode leave
访问http://192.168.1.23:50070/explorer.html#/ #查看刚才创建的目录

上传指令：
hdfs dfs -put 文件 /data #将指定文件上传到data目录下
hdfs dfs -put test/ / #上传指定目录

创建空文件：
hdfs dfs -mkdir /empty
hdfs dfs -touchz /empty/empty1

本地文件内容追加到hdfs文件里：
echo "lihong" >> e1
hdfs dfs -appendToFile e1 /empty/empty1

下载文件：
hdfs dfs -get /empty/empty1 ./

拷贝文件：
hdfs dfs -copyToLocal /empty ./

合并下载：#将多个文件下载到一个目录下
[root@lihong01 ~]# echo "hello world" >> file1
[root@lihong01 ~]# echo "hello " >> file2
[root@lihong01 ~]# echo "world " >> file3
hdfs dfs -put file* /
合并下载
hdfs dfs -getmerge /file* ./hong #本地会有一个hong文件
[root@lihong01 ~]# hdfs dfs -getmerge /file* ./hong
[root@lihong01 ~]# cat hong
hello world
hello
world

移动：
hdfs dfs -mv /file* /data
重命名：
hdfs dfs -mv /data /hong
拷贝：
hdfs dfs -cp /hong/a1 /
删除文件：
hdfs dfs -rm /a1
删除目录：
hdfs dfs -rm -r /hong
删除文件夹的所有文件：
hdfs dfs -rmdir /test*
删除非空文件夹：
hdfs dfs -rmdir /test

查看磁盘利用率和文件大小：
hdfs dfs -df /
hdfs dfs -df -h /
分别查看目录下的大小：
hdfs dfs -du -h /data
查看目录总大小：
hdfs dfs -du -h -s /data

修改文件权限修改：
hdfs dfs -chmod 777 /data
修改所属用户和用户组：
hdfs dfs h:h /data

修改文件的副本数：
hdfs dfs -setrep 5 /data

查看文件状态：
hdfs dfs -stat /data/a1
查看文件大小：
hdfs dfs -stat %n,%b /data/a1