Hadoop完全分布式搭建

步骤

 

　　

　　1.克隆两个节点

　  2.修改静态IP

　  3.修改主机名

　  4.修改主机名和IP的映射

　  5.配置SSH无密登陆

　  6.安装jdk

　  7.安装hadoop

　  8.配置环境变量

　  9.修改配置文件

　  10.格式化分布式文件系统

　  11.开启分布式 　

详细过程

 

　　1.克隆节点

　　　　前提是我们的虚拟机网络配置成功jdk安装成功，hadoop安装成功，即伪分布搭建成功，上节说的，然后我们关掉虚拟机，克隆两个节点（完整性克隆）。

　　2.修改静态IP（两个子节点都需要配置）

　　　　-->克隆之后，虚拟机加载的是eth1文件，不再是eth0，我们可以到/etc/udev/rules.d/70-persistent-net.rules文件下查看eth1文件对应的HWADDR是多少，即MAC地址。

　　　　-->进入etc/sysconfig/network-scripts/ifcfg-eth0文件下，修改

　　　　　　DEVICE=eth1

　　　　　　IPADDR=192.168.43.126　　#修改为同一个网段下的

　　　　　　HWADDR修改为我们刚刚查看的MAC地址

　　　　-->重启网络

　　　　　　　　$>service network restart

　　　　-->查看网络是否配置成功

　　3.修改主机名（两个子节点都需要修改）

　　　　$>vi /etc/sysconfig/network

　　　　　　到该文件下将HOSTNAME改为你要修改成的主机名，这里修改为Slave_1,即　　HOSTNAME=Slave_1

　   4.修改主机名和IP地址的映射

　　　　$>vi /etc/hosts

　　　　　　添加(我们克隆的两个节点都需要修改)

　　　　　　　　192.168.43.125　　master

　　　　　　　　192.168.43.126　　Slave_1

　　　　　　　　192.168.43.127　　Slave_2　　　　

　　5.配置SSH无密登陆

　　　　由于我们被克隆的节点是已经配置好的无密登陆，所以完整克隆之后，从节点也有该无密登陆，认证库里包含该密钥，所以无需在配置，主节点可以无密访问从节点。

　　6.安装jdk

　　　　我们被克隆的节点，jdk已经配置成功，克隆之后，从节点的jdk也是配置好的，我们可以输入java -version进行验证。

　　7.安装hadoop

　　　　我们被克隆的节点，hadoop已经配置成功，克隆之后，从节点的hadoop也是配置好的，我们可以输入hadoop version进行验证。

　　8.环境变量

　　　　这个在主节点都是配置完好的，从节点无须在配置，具体配置步骤在上一节都详细描述了。

　　9.修改配置文件（所有的节点）

　　　　-->修改core-site.xml　

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
</property>

<property>
        <name>hadoop.tmp.dir</name>
    <value>/home/hyxy/tmp/hadoop</value>
</property>   

 

　　　　-->修改hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

　　　　-->修改mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
     <value>yarn</value>
    <description>
            The runtime framework for executing MapReduce jobs.Can be one of local, classic or yarn.
    </description>
</property>

　　　　-->修改yarn-site.xml

<property>
     <description>A comma separated list of services where service name should only
          contain a-zA-Z0-9_ and can not start with numbers</description>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>

<property>
    <description>The hostname of the RM.</description>
     <name>yarn.resourcemanager.hostname</name>
      <value>master</value>
 </property> 

　　　　-->修改slaves

　　　　　添加datanode节点名称，以行为准，即节点名称后不要有空格或者tab符等其他符号。

Slave_1
Slave_2

　　　　-->修改hadoop-env.sh

　　　　　　配置JAVA_HOME

注意：hadoop集群，谨记，所有的hadoop配置文件必须都一样，/etc/hosts文件必须都一样。

　　　　实现方式：

　　　　　　一个节点一个节点的配置（不建议）　　

　　　　　　分发，在主节点配置完好后，分发到所有的从节点

　　10.格式化

　　　　1.删除hadoop.tmp.dir设置路径下的所有文件（所有节点）

　　　   2.删除HADOOP_LOG_DIR设置路径下的日志文件（所有节点）

　　　　3.格式化：

　　　　　　$>hdfs namenode -format　　(主节点)

　　11.开启完全分布式

　　　　$>start-all.sh

　　　　$>jps查看进程

　　12.访问namenode页面

　　　　http://192.168.43.125:50070/

　　　　会出现master（active）信息，livenode是2个，因为我们有两个从节点，表示我们完全分布式搭建成功。