Hadoop集群的搭建

王磊 原创 原文地址：http://www.cnblogs.com/wangleiblog/articles/5286560.html

最近在学习集群，用的是hadoop，下面介绍在本地搭建伪集群

 

下面进行hadoop集群环境的搭建

 

Hadoop集群环境需要多台电脑，这里使用三台虚拟机来模拟hadoop集群计算资源，集群配置如下表：

 

节点	IP地址	登陆	密码
Master	192.168.116.129	hadoop	hadoop
Slaver1	192.168.116.130	hadoop	hadoop
Slaver2	192.168.1116.131	hadoop	hadoop

 

为了搭建好这个集群，现在依步骤往下走：

一、确保三台电脑能够互联、互通和互操作

 

为了达到这个要求，完成以下三个步骤：

1. 修改IP地址
2. 修改机器名
3. 修改防火墙

 

下面分别介绍：

1. 修改ip地址：

按照集群的配置关系表，修改集群的ip地址即可：

 

1. 修改主机名

目的是为了集群的每个节点之间能够便捷的 访问对方

首先，切换到root用户下

输入命令，和密码到root用户下：

$ su

 

然后修改hostname，即主机名，输入命令：

$ vi /etc/hostname

 

{

Vim:内部命令：

[i]   插入模式

[esc] 退出插入模式

[:wq] 保存并退出

}

 

默认情况下机器名是localhost

这里将其设置为master，其他slaver节点就以slaver1，slaver2，….命名即可：

 

 然后重启网络服务使得配置生效，可注销或者重启。

修改完主机名之后，要确保节点之间能够相互知晓，修改hosts文件，添加ip到主机名映射（位于/etc/hosts）

 

加入如图所示记录：

 

这样的话，就可以通过主机名访问节点，如使用 ping 主机名：

 

1. 修改防火墙，

最简单的方式就是直接关闭防火墙

 

 

使用命令：

$ systemctl stop firewalld

关闭防火墙

接着使用

$ systemctl disable firewalld

禁用防火墙

 

 

互联互通完成之后，确保互操作：

 

 

1. 首先新增一个用户，用来运行hadoop：

 

 

三台机器上都创建同样的用户：

$ adduser user1 –p 123456

 

接下来切换到这个用户下面：

 

 

设置ssh环境，无缝操作：

创建一个公私钥对：

 

 

 

输入 $ ssh-keygen

 

 

接着发送公钥给各个节点：

$ ssh-copy-id hadoop@master

然后可以免密码登陆

 

 

互联互通互操作完成后，就可以安装hadoop软件了:

 

需要hadoop和java：

 

我这里使用这两个。

 

 

使用命令：

$ tar zxf … 解压

 

 

然后简单重命名一下，方便操作：

 

 

接下来配置java，告诉系统java在哪个位置：

方法1：

 

 

 

方法2：

 

 

添加java路径：

 

 

接下来为了使得配置生效，需要执行下面一条命令：

$ source .bashrc

 

 

        

Java环境配置完毕。

 

接下来配置hadoop环境：

打开hadoop自带的说明文档：

1. 修改core-site.xml:

 

 

 

 

 

 

 

 

运行成功：

 

 

 

 

 

演示视屏及安装资源由于太大，无法上传

需要的话请加我qq：1215714557

王磊 原创，转载请注明出处：http://www.cnblogs.com/wangleiblog/articles/5286560.html