hadoop命令

1、hadoop进程命令

sbin/start-all.sh
启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager
sbin/stop-all.sh
停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager
sbin/start-dfs.sh
启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode
sbin/stop-dfs.sh
停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
sbin/hadoop-daemons.sh
start namenode 单独启动NameNode守护进程
sbin/hadoop-daemons.sh stop namenode
单独停止NameNode守护进程
sbin/hadoop-daemons.sh start datanode 
单独启动DataNode守护进程
sbin/hadoop-daemons.sh stop datanode 
单独停止DataNode守护进程
sbin/hadoop-daemons.sh start secondarynamenode 
单独启动SecondaryNameNode守护进程
sbin/hadoop-daemons.sh stop secondarynamenode 
单独停止SecondaryNameNode守护进程
sbin/start-yarn.sh 
启动ResourceManager、NodeManager
sbin/stop-yarn.sh 
停止ResourceManager、NodeManager
sbin/yarn-daemon.sh start resourcemanager 
单独启动ResourceManager
sbin/yarn-daemons.sh start nodemanager  
单独启动NodeManager
sbin/yarn-daemon.sh stop resourcemanager 
单独停止ResourceManager
sbin/yarn-daemons.sh stopnodemanager  
单独停止NodeManager 
sbin/mr-jobhistory-daemon.sh start historyserver 
手动启动jobhistory
sbin/mr-jobhistory-daemon.sh stop historyserver 
手动停止jobhistory

 

2、hadoop常用命令

hdfs dfs  查看Hadoop HDFS支持的所有命令 

hdfs dfs –ls  列出目录及文件信息   

hdfs dfs –lsr  循环列出目录、子目录及文件信息      

hdfs dfs –tail /user/sunlightcs/test.txt  查看最后1KB的内容   

hdfs dfs –copyFromLocal test.txt /user/sunlightcs/test.txt  从本地文件系统复制文件到HDFS文件系统，等同于put命令   

hdfs dfs –copyToLocal /user/sunlightcs/test.txt test.txt  从HDFS文件系统复制文件到本地文件系统，等同于get命令   

hdfs dfs –chgrp [-R] /user/sunlightcs  修改HDFS系统中/user/sunlightcs目录所属群组，选项-R递归执行，跟linux命令一样   

hdfs dfs –chown [-R] /user/sunlightcs  修改HDFS系统中/user/sunlightcs目录拥有者，选项-R递归执行   

hdfs dfs –chmod [-R] MODE /user/sunlightcs  修改HDFS系统中/user/sunlightcs目录权限，MODE可以为相应权限的3位数或+/-{rwx}，选项-R递归执行

hdfs dfs –count [-q] PATH  查看PATH目录下，子目录数、文件数、文件大小、文件名/目录名   

hdfs dfs –cp SRC [SRC …] DST       将文件从SRC复制到DST，如果指定了多个SRC，则DST必须为一个目录   

hdfs dfs –du PATH  显示该目录中每个文件或目录的大小   

hdfs dfs –dus PATH  类似于du，PATH为目录时，会显示该目录的总大小   

hdfs dfs –expunge  清空回收站，文件被删除时，它首先会移到临时目录.Trash/中，当超过延迟时间之后，文件才会被永久删除   

hdfs dfs –getmerge SRC [SRC …] LOCALDST [addnl]   获取由SRC指定的所有文件，将它们合并为单个文件，并写入本地文件系统中的LOCALDST，选项addnl将在每个文件的末尾处加上一个换行符   

hdfs dfs –test –[ezd] PATH     对PATH进行如下类型的检查：-e PATH是否存在，如果PATH存在，返回0，否则返回1；-z 文件是否为空，如果长度为0，返回0，否则返回1； -d 是否为目录，如果PATH为目录，返回0，否则返回1  

hdfs dfs –text PATH  显示文件的内容，当文件为文本文件时，等同于cat；文件为压缩格式（gzip以及hadoop的二进制序列文件格式）时，会先解压缩

hdfs dfs –help ls  查看某个[ls]命令的帮助文档

 3、hadoop集群测试命令

hadoop   jar   HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  pi 10 10