一、简介

Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options]

文件系统协议

  • HDFS Shell CLI支持操作多种文件系统，包括本地文件系统（file:///）、分布式文件系统（hdfs://nn:8020）等
  • 具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。
  • 如果没有指定前缀，则将会读取环境变量中的fs.defaultFS属性，以该属性值作为默认文件系统。

版本区别

hadoop dfs 只能操作HDFS文件系统（包括与Local FS间的操作），不过已经Deprecated；
hdfs dfs 只能操作HDFS文件系统相关（包括与Local FS间的操作）,常用；
hadoop fs 可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广；
目前版本来看，官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多。

参数说明

HDFS文件系统的操作命令很多和Linux类似，因此学习成本相对较低。
可以通过hadoop fs -help命令来查看每个命令的详细用法。

二、常用命令

1、创建文件夹

hadoop fs -mkdir [-p] <path> ...
path 为待创建的目录
-p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。
例：hadoop fs -mkdir -p /levelone/leveltwo/levelthree

2、查看指定目录下内容

hadoop fs -ls [-h] [-R] [<path> ...]
path 指定目录路径
-h 人性化显示文件size
-R 递归查看指定目录及其子目录
例：hadoop fs -ls /

3、上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] <localsrc> ... <dst>
-f 覆盖目标文件（已存在下）
-p 保留访问和修改时间，所有权和权限。
localsrc 本地文件系统（客户端所在机器）
dst 目标文件系统（HDFS）
例：hadoop fs -put zookeeper.out /levelone

4、查看HDFS文件内容

hadoop fs -cat <src> ...
读取指定文件全部内容，显示在标准输出控制台。
注意：对于大文件内容读取，慎重。
例：hadoop fs -cat /levelone/zookeeper.out

5、下载HDFS文件

hadoop fs -get [-f] [-p] <src> ... <localdst>
下载文件到本地文件系统指定目录，localdst必须是目录
-f 覆盖目标文件（已存在下）
-p 保留访问和修改时间，所有权和权限。
例：hadoop fs -get /levelone/zookeeper.out ./aaa.txt

6、拷贝HDFS文件

hadoop fs -cp [-f] <src> ... <dst>
-f 覆盖目标文件（已存在下）
例：hadoop fs -cp /levelone/zookeeper.out /levelone/abc.txt

7、追加数据到HDFS文件中

hadoop fs -appendToFile<localsrc> ... <dst>
将所有给定本地文件的内容追加到给定dst文件。
dst如果文件不存在，将创建该文件。
如果<localSrc>为-，则输入为从标准输入中读取。
hadoop fs -appendToFile abc.txt /levelone/zookeeper.out

8、HDFS文件移动操作

hadoop fs -mv <src> ... <dst>
移动文件到指定文件夹下
可以使用该命令移动数据，重命名文件的名称
例：hadoop fs -mv /levelone/zookeeper.out /levelone/leveltwo

 命令官方指导文档

https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/FileSystemShell.html