[大数据]Hadoop HDFS文件系统命令集
基本格式: hadoop fs -cmd [args]
1 Query
- 显示命令的帮助信息
# hadoop fs -help [cmd]
- 查看hadoop/hdfs的用户
# hdfs dfs -ls /user
更改hdfs的目录权限: hdfs dfs -chwon sdc /user/sdc
- 查看HDFS文件及目录
-ls(r)
//显示当前目录下所有文件
# hadoop fs -ls /
# hadoop fs -ls -R /
(递归查看)
- 显示文件内容 in 终端
# hadoop fs -cat <src>
# hadoop fs -text <src>
(将文本文件或某些格式的非文本文件通过文本格式输出)
# hadoop fs -tail <hdfs file>
(在标准输出中显示文件末尾的1KB数据)
- 显示文件(目录)存储大小
# hadoop fs -du(s) <path>
//显示目录中所有文件大小
# hadoop fs -du -s <hdsf-path>
//显示hdfs对应路径下所有文件和的大小
# hadoop fs -du -h <hdsf-path>
显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示。例如用64M代替67108864
- 显示目录中文件数量
# hadoop fs -count[-q] <path>
2 Manipulation
2.1 上传/移动/下载 [本地文件系统 ~ HDFS文件系统]
- 上传本地文件到HDFS文件系统的指定目录中
# hadoop fs -put ./local_test.txt /hdfs_test
或
#hadoop fs -copyFromLocal ./local_test.txt /hdfs_test
- 移动本地文件到HDFS文件系统的指定目录中
# hadoop fs -moveFromLocal ./local_test.txt /hdfs_test
- 下载HDFS文件系统的指定目录到本地路径下
# hadoop fs -get /hdfs_test/test.txt .
或
# hadoop fs -getToLocal /hdfs_test/test.txt .
hadoop fs -get [-ignoreCrc]
//复制文件到本地,可忽略crc校验
hadoop fs -getmerge//将源目录中的所有文件排序合并到1个本地文件中。若文件不存在时会自动创建;若文件存在时会覆盖里面的内容
hadoop fs -getmerge -nl//加上 -nl
后,合并到local file中的hdfs文件之间会空出一行
- 移动HDFS文件系统的指定目录到本地文件中
# hadoop fs -moveToLocal <hdfs-src> <localdst>
2.2 数据操纵
- 拷贝/移动/删除 文件(夹)
# hadoop fs -cp /test/test.txt /test1
-cp <src-dir> <dst-dir>
(支持同时复制多个文件到目标目录)
# hadoop distcp hdfs://master1:8020/foo/bar hdfs://master2:8020/bar/foo
(两个haddop hdfs集群之间拷贝数据)
# hadoop fs -rm /test1/test.txt
[删除文件]
# hadoop fs -rm -r /test1/
[删除文件夹]
# hadoop fs -mv /test/test.txt /test1
-mv <src-dir> <dest-dir>
2.3 目录操纵
- 创建文件目录
# hadoop fs -mkdir /test
(在根目录创建一个目录test)
3 补充: Hive的支持
hive
内亦支持 dfs
命令.
# hive> dfs -ls /;
Found 12 items
drwxr-xr-x - hdfs hdfs 0 2020-07-22 11:45 /2020
drwxr-xr-x - hdfs hdfs 0 2020-09-11 15:08 /2be982848f5f49e1884e43092f7670da
drwxrwxrwx - yarn hadoop 0 2020-11-14 13:15 /app-logs
drwxr-xr-x - hdfs hdfs 0 2020-07-21 19:08 /apps
drwxr-xr-x - yarn hadoop 0 2020-07-21 19:07 /ats
drwxrwxrwx - hdfs hdfs 0 2020-07-21 19:17 /kylin
drwxr-xr-x - mapred hdfs 0 2020-07-21 19:06 /mapred
drwxrwxrwx - mapred hadoop 0 2020-07-21 19:07 /mr-history
drwxr-xr-x - hdfs hdfs 0 2020-07-21 19:07 /sdp
drwxrwxrwx - spark hadoop 0 2021-04-29 19:41 /spark2-history
drwxrwxrwx - hdfs hdfs 0 2021-04-29 18:57 /tmp
drwxr-xr-x - hdfs hdfs 0 2020-11-13 20:38 /user
X 参考文献
本文作者:
千千寰宇
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!