HDFS命令

HDFS建立目录(类似文件夹):
hdfs dfs -mkdir /user/dfstest 建立一个目录(但是必须以次构成)
hdfs dfs -mkdir -p /user/test/example 建立一个多分级目录(可以构成多级目录,与上面代码的局限性要好很多)
--------------------------------------------------------------------------
所有命令格式正确,区分大小写

建立文件
vi xx.txt 创建文件
cat xx.txt 查看一个xx.txt的文本文件

上传文件(同目录不能有相同名字,在路径后面可以改名,例如:hdfs dfs -put xx.txt /user/dfstest/xxx.txt)
hdfs dfs -copyFormLocal xx.txt /user/dfstest/ 复制xx.txt文本文件到指定hdfs目录
hdfs dfs -moveFromLocal xx.txt /user/dfstest/ 剪接xx.txt文本文件到指定hdfs目录,本地文件会被删除
hdfs dfs -put xx.txt /user/dfstest/ 复制xx.txt文本文件到指定hdfs目录
||||{
put和copuFormLocal的区别在于put更加宽松,能够处理本地文件和hdfs内部文件的复制到hdfs目录下
而copyFormLocal仅仅只能够进行本地文件复制于hdfs目录
}||||

下载文件(下载默认为主机当下选定目录,若想切换请cd至所想目录)
hdfs dfs -copyToLocal /user/dfstest/ 复制hdfs文件到本地
hdfs dfs -get /user/dfstest/ 获取hdfs文件到本地

查看文件
hdfs dfs -cat /user/dfstest/ 查看hdfs文件的全部内容
hdfs dfs -tail /user/dfstest/ 输出hdfs文件最后1024字节,多用于检查

删除文件
hdfs dfs -rm /user/dfstest/ 用于删除文件和目录
hdfs dfs -rmdir /user/dfstest/ 用于删除空目录

统计文件夹大小信息
hdfs dfs -du /user/dfstest/ 统计文件大小信息

HDFS概念图:
本机----------master分布式集群-----------hdfs目录

=====================================================
World count操作:
创建本地文件
vi /cvivicv/xxx
创建hdfs目录
hdfs dfs -mkdir -p /input/word
将本地文件复制于hdfs目录中
hdfs dfs -put /cvivicv/xxx /input/word/
执行命令
hadoop jar wordcount /input/word /output
查看执行结果
hadf dfs cat /output/out/part-r-00000

posted @ 2020-09-18 16:53  萌新❀  阅读(179)  评论(0)    收藏  举报