CentOS6安装与配置

 

CentOS6安装与配置

环境准备

1.设置主机名

查看主机名

hostname

修改主机名

vim /etc/hosts

IP地址 主机名

vi /etc/sysconfig/network

HOSTNAME= 主机名

注意：hosts与network下的主机名称要保持一致

 

2.配置IP 主机名映射

vi /etc/hosts

192.168.56.133 node1

192.168.56.133 node2

192.168.56.134 node3

 

3.配置ssh免密登录

生成ssh绵密登录密钥

ssh-keygen -t rsa(四个回车)

执行完之后会生成id_rsa(私钥) id_rsa.pub(公钥)

将公钥拷贝到要免密登录的目标机器上

ssh-copy-id node1 (本机也要配置)

ssh-copy-id node2

ssh-copy-id node3

 

4配置防火墙

（1）          基本语法：

service iptables status     （功能描述：查看防火墙状态）

chkconfig iptables --list  （功能描述：查看防火墙开机启动状态）

service iptables stop （功能描述：临时关闭防火墙）

chkconfig iptables off      （功能描述：关闭防火墙开机启动）

chkconfig iptables on      （功能描述：开启防火墙开机启动）

 

5安装jdk1.8和Hadoop并配置环境变量

 

这里统一安装到/etc/module目录下

##JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144/

export PATH=$PATH:$JAVA_HOME/bin

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

测试是否安装成功

java -version

hadoop version

 

集群配置

 

（1）集群部署规划

 

	hadoop101	hadoop102	hadoop103
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

 

(2) 配置集群

1. 配置Hadoop所使用Java的环境变量：

/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

[root@hadoop101 hadoop]$ vim hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

2.修改pid文件存放位置：

/opt/module/hadoop-2.7.2/sbin/hadoop-daemon.sh

添加:

export HADOOP_PID_DIR=/opt/module/hadoop-2.7.2/pid

3.核心配置文件：

/opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml（hdfs的核心配置文件）

<!-- 指定HDFS中NameNode的地址 -->

<property>

      <name>fs.defaultFS</name>

        <value>hdfs://hadoop101:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

      <name>hadoop.tmp.dir</name>

      <value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

4.hdfs配置文件 /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

<!--副本数量-->

<property>

      <name>dfs.replication</name>

      <value>3</value>

  </property>

<!--secondarynamenode的地址,辅助namenode工作 -->

  <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop103:50090</value>

    </property>

5.yarn配置文件

/opt/module/hadoop-2.7.2/etc/hadoop/yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

------------------------------------------------

修改pid文件存放位置：

/opt/module/hadoop-2.7.2/sbin/yarn-daemon.sh

添加

export YARN_PID_DIR=/opt/module/hadoop-2.7.2/pid

------------------------------------------------

/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

<!-- reducer获取数据的方式 -->

  <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

  </property>

 

  <!-- 指定YARN的ResourceManager的地址 -->

  <property>

     <name>yarn.resourcemanager.hostname</name>

     <value>hadoop102</value>

  </property>

 

6. mapreduce配置文件

/opt/module/hadoop-2.7.2/etc/hadoop/mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

------------------------------------------------------

/opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml

默认提供的是模板文件 mapred-site.xml.template 需要手动修改文件名mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

 

7.配置集群中从节点信息

把原来的localhost要删除

/opt/module/hadoop-2.7.2/etc/hadoop/slaves

[root@hadoop101 hadoop]$ vim slaves

hadoop101

hadoop102

hadoop103

 

8.分发文件

scp:secure copy 安全拷贝

scp定义：

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

安装scp命令，这个安装需要每个节点都要安装。

yum  install -y openssh-server openssh-clients

 

将hadoop101中/opt/module目录下的软件拷贝到hadoop102、hadoop103上。

[root@hadoop101 /]$ scp -r /opt/module/*  hadoop102:/opt/module

[root@hadoop101 /]$ scp -r /opt/module/*  hadoop103:/opt/module

 

集群单点启动

 

如果集群是第一次启动，需要格式化NameNode（格式化只进行一次！！！）

[root@hadoop101 hadoop-2.7.2]$ hadoop namenode -format

 

逐一启动各个结点

1.在hadoop101上启动NameNode 要在hadoop目录下执行

[root@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

[root@hadoop101 hadoop-2.7.2]$ jps

3461 NameNode

2.在hadoop101、hadoop102、hadoop103上分别启动DataNode

网页输入hadoop101:50070 查看是否启动成功

3.在hadoop103上启动第二节名称节点

sbin/hadoop-daemon.sh start secondarynamenode

网页输入hadoop101:50090 查看是否启动成功

按照模块启动

1.整体启动/停止hdfs（在namenode节点启动）

[root@hadoop101 hadoop-2.7.2]# sbin/start-dfs.sh

[root@hadoop101 hadoop-2.7.2]# sbin/stop-dfs.sh

2.整体启动/停止yarn （在resourcemanager节点启动）

[root@hadoop101 hadoop-2.7.2]# sbin/start-yarn.sh

[root@hadoop101 hadoop-2.7.2]# sbin/stop-yarn.sh