hadoop集群搭建(vmware+centos7+hadoop2.8.5)
1、网络主机名配置
192.168.1.10 master.hadoop
192.168.1.11 slave1.hadoop
192.168.1.12 slave2.hadoop
1） 修改主机名
[root@master /]# vi /etc/hostname
#主机名
master.hadoop
[root@master ~]# hostname master.hadoop
[root@master ~]# hostname
master.hadoop
[root@master ~]# cd /etc/hosts
192.168.10.10 master.hadoop
192.168.10.11 slave1.hadoop
192.168.10.12 slave2.hadoop
[root@master ~]# scp /etc/hosts 192.168.10.11:/etc
[root@master ~]# scp /etc/hosts 192.168.10.12:/etc
2）修改网卡配置：
使用 Nat 连接方式（可使用Dhcp方式先配通环境）。
3）配置 SSH 免密钥登录
(1) 生成公钥私钥对
[root@master apps]# cd /root/.ssh/
[root@master .ssh]# ssh-keygen -t rsa
然后不输入，回车三次(密码不要输入)，直到结束。
[root@master .ssh]# touch authorized_keys
[root@master .ssh]# ll
-rw-r--r--. 1 root root authorized_keys
-rw-------. 1 root root id_rsa
-rw-r--r--. 1 root root id_rsa.pub
-rw-r--r--. 1 root root known_hosts
输入：
[root@master .ssh]# cat id_rsa.pub >> authorized_keys
或者
ssh-copy-id -i /root/.ssh/id_rsa.pub 用户名字@192.168.x.xxx（把公钥安装到本机或远程机器的 authorized_keys 中）
如：
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.1.11
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.1.12
最后，分别重启 SSH 服务：
[root@host .ssh]$ service sshd restart
测试：
[root@master .ssh]# ssh root@192.168.1.11
[root@slave1]#exit
[root@master]#
连接成功。
测试 slave2 ...
2、安装 JDK
1） 下载 linux 版 jdk
jdk1.8下载地址
选择版本： jdk-By201-linux-x64.tar.gz
2）解压并配置环境变量
[root@master apps]# tar -zxvf jdk-8u201-linux-x64.tar.gz
[root@master apps]# vi /etc/profile
在其中添加一下内容：
export JAVA_HOME=/apps/jdk1.8.0_201
export JRE_HOME=/apps/jdk1.8.0_201/jre
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
然后更新配置文件
[root@master apps]# source /etc/profile
3）测试
[root@master apps]# java -version
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b11, mixed mode)
4、hadoop 分布式集群安装
1）下载hadoop安装包
选择 2.8.5 binary 版本。
2）解压，配置参数
[root@master apps]# tar -zxvf hadoop-2.8.5.tar.gz
[root@master apps]# mkdir hdptmp
在两台从节点上建立相同的目录（hdfs 初始化是使用）
（1）配置hadoop-env.sh
# set java environment（添加jdk环境变量）
export JAVA_HOME=/apps/jdk1.8.0_201
（2）配置core-site.xml文件
修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/apps/hdptmp</value>
<!-- 请先在 /apps 目录下建立 hdptmp 文件夹-->
</property>
<!-- file system properties -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master.hadoop:9000</value>
</property>
</configuration>
（3）配置hdfs-site.xml文件
修改Hadoop中HDFS的配置，配置的备份方式默认为3。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<!-- replication 是数据副本数量，默认为3-->
</property>
<configuration>
（4）配置mapred-site.xml文件
修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
（5）配置yran-site.xml文件
<configuration>
<!--制定yarn的老大resourcemanager的地址-->
<property>
<name>yarn.resouremanager.hostname</name>
<value>master.hadoop</value>
</property>
<!--mapreduce执行shuffle（洗牌的意思）获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
（6）配置slaves文件
[root@master /]# vi slaves
master.hadoop
slave1.hadoop
slave2.hadoop
（7）配置hadoop环境变量
[root@master /]# vi /etc/profile
#set hadoop enviroment
export HADOOP_HOME=/apps/hadoop-2.8.5/
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin(
#重写执行文件，使生效
[root@master /]# source /etc/profile
3）主节点文件复制到从节点
[root@master /]# scp /apps 192.168.1.11:/
[root@master /]# scp /apps 192.168.1.12:/
[root@master /]# scp /etc/hosts 192.168.1.11:/etc
[root@master /]# scp /etc/hosts 192.168.1.12:/etc
[root@master /]# scp /etc/profile 192.168.1.11:/etc
[root@master /]# scp /etc/profile 192.168.1.12:/etc
4）初始化 HDFS
[root@master /]# hadoop namenode -format
5）启动测试
（1）启动 HDFS
[root@master /]# start-dfs.sh
[root@master /]# jps
DataNode
Jps
NameNode
（2）启动 Yarn
[root@master /]# start-yarn.sh
[root@master /]# jps
DataNode
Jps
ResourceManager
NodeManager
NameNode
集群管理界面：
http://192.168.1.10:50070/dfshealth.html#tab-overview
浙公网安备 33010602011771号