Hadoop 启动与停止

 

hadoop启动

一、启动hadoop集群，需要启动hdfs和yarn
　　第一次启动hdfs，必须要格式化，格式化分布式文件系统作为HDFS：

　　[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>

二、启动hdfs

　　[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode

三、启动datanode

　　[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode 

如果 etc/hadoop/slaves 和 ssh配置了相互访问 (see Single Node Setup), 所有hdfs可以使用下面命令

　　[hdfs]$ $HADOOP_PREFIX/sbin/start-dfs.sh

 

四、启动yarn用下面命令，在指定的ResourceManager作为yarn

　　[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager

 

　　运行下面命令在指定的客户端作为yarn启动NodeManager

　　[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager

 

　　启动独立WebAppProxy server. 运行 WebAppProxy server作为yarn.如果多台服务器使用负载均衡，则每台都需运行

　　[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver

 

如果etc/hadoop/slaves和ssh配置，启动脚本如下：

　　[yarn]$ $HADOOP_PREFIX/sbin/start-yarn.sh

 

五、启动MapReduce JobHistory Server

　　[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR start historyserver

 

 

hadoop停止

一、停止namenode，用下面命令

　　[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode

 

二、停止datanode，用下面命令

　　[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode

 如果etc/hadoop/slaves 和 ssh配置相互访问，用下面脚本停止：

　　[hdfs]$ $HADOOP_PREFIX/sbin/stop-dfs.sh

 

三、停止ResourceManager用下面命令

　　[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager

　　运行脚本停止NodeManager

　　[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager

如果etc/hadoop/slaves 和 ssh配置相互访问，则运行下面脚本：

　　[yarn]$ $HADOOP_PREFIX/sbin/stop-yarn.sh

 

三、停止WebAppProxy server。运行WebAppProxy，如果多台服务器使用负载平衡，则每一个都运行。

　　[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop proxyserver

 

四、停止MapReduce JobHistory Server，使用下面命令

　　[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR stop historyserver

Web Interfaces

Daemon	Web Interface	Notes
NameNode	http://nn_host:port/	Default HTTP port is 50070.
ResourceManager	http://rm_host:port/	Default HTTP port is 8088.
MapReduce JobHistory Server	http://jhs_host:port/	Default HTTP port is 19888.

 　　　　　　　　　　　　8088端口查看集群信息，50070端口查看HDFS信息。

　　　　　　　　　　　　Hadoop 2.2.x以后，50030已经不再使用。