Hadoop 集群模式安装 配置

安装Hadoop前置,当前是要准备好基础运行环境,这里我们准备了三台虚机,详见上篇博文

一、       准备上传工具

 要安装hadoop相关软件 ,需要将对应的安装包上传到这些虚机服务器(vm centos)上

 安装上传下载工具包rz及sz,查看下当前机子上是否有安装包

 输入yum provides */rz

 

安装rz

 

安装好后,在Xshell端输入rz,在弹出窗口中选择上传文件:hadoop安装包hadoop-2.7.3.tar.gz

当然前提是提前本地下载好对应版本安装包,这里版本是2.7.3

二、          安装hadoop

1、为了统一,我们将hadoop作为程序软件安装在opt目录 下

给hadoop用户 opt目录操作权限 chmod –R 777 /opt

安装hadoop

在安装目录下,新建dfs与tmp目录

 2、检查与配置java环境变量与路径,若已配好,这步可略

配置完成后,让其立即生效

注:上面是使用系统自带的java版本,考虑到所需包的完整性,可以卸载掉后自己重新下载安装

3、配置hadoop环境变量 /etc/profile

4、修改Hadoop中java 环境变量

$HADOOP_HOME/etc/hadoop/hadoop-env.sh

#export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64

$HADOOP_HOME/etc/hadoop/yarn-env.sh

#export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64
 
5、指定从服务器
更改$HADOOP_HOME/etc/hadoop/slaves
增加两个从服务器的主机名,这里是kencentos02,03

6、配置core-site.xml
$HADOOP_HOME/etc/hadoop/core-site.xml

7、 配置hdfs-site.xml

$HADOOP_HOME/etc/hadoop/hdfs-site.xml

8、配置 mapred-site.xml

9、配置 yarn-site.xml

10、复制hadoop及相关配置文件到从服务器上

 [hadoop@kencentos01 hadoop]$ scp -r /opt/hadoop hadoop@kencentos02:/opt

 [hadoop@kencentos01 hadoop]$ scp -r /opt/hadoop hadoop@kencentos03:/opt

11、分别更改centos02,03上的环境变量

12.启动hadoop

格式化namenode

hdfs namenode –format

启动守护进程

方法一: /hadoop/hadoop-2.7.3/sbin/start-all.sh

方法二:

启动NameNode和DataNode

$ start-dfs.sh

启动ResourceManager 和 NodeManager 守护进程

$ start-yarn.sh

停止命令

/hadoop/hadoop-2.7.3/sbin/stop-all.sh

$stop-dfs.sh

$stop-yarn.sh

 

启动节点还可以用下面命令

hadoop-daemon.sh start namenode

Hadoop-daemon.sh start datanode

 

执行jps命令

jps 可以查看 hadoop 上 当前运行的java 进程

(不是hadoop的什么命令,是java的命令,所以直接执行就行了)

13、查看节点是否正常

 访问50070端口 ,我这里是http://192.168.52.128:50070

若不能正常显示,则可能是节点未正常启动

我遇到的是因为namenode二次format时导致VERSION中的clusterID 冲突问题

解决方法:将dfs对应的data,tmp目录下文件都删除,重新format下

再启动服务

 

posted @ 2017-12-01 11:10  kcen  阅读(250)  评论(0编辑  收藏  举报