VM搭建hadoop分布式集群

1.  安装VMware Workstation Pro

2.安装Ubuntu-16.04

3.以下全程使用sudo –s 切换root权限

4.更新deb软件包列表：apt-get update

5.安装系统更新           apt-get upgrade

6.安装JDK8到/opt/java8

　　改变所属组和用户

　　cd /opt

　　sudo chown cc:cc java8

7.设置CLASSPATH 和JAVA_HOME,这里我使用的是gedit /etc/profile的方式设置

　　　　export JAVA_HOME=/opt/java8

　　　　export PATH=$JAVA_HOME/bin:$PATH

　　　　　export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

8.从http://hadoop.apache.org/下载hadoop-2.7.3.tar.gz

　　　　tar -zxvf hadoop-2.7.3.tar.gz 解压

　　　　改变所属组和用户

　　　　cd /opt

　　　　chown cc:cc hadoop-2.7.3

9.更新hadoop环境变量

　　　　gedit hadoop/conf/hadoop-env.sh

　　　　将#export JAVA_HOME= ***   这一行改为：

　　　　export JAVA_HOME=/opt/java8  (注：此处java_home 一定要硬编码)

10.gedit /etc/profile配置环境变量 export HADOOP_HOME=/opt/hadoop-2.7.3

11.配置ssh
　　apt-get install ssh

　　查看是否已经安装好ssh  –V

     

　　检查是否生成/root/.ssh目录，没生成的话用mkdir生成一个，如图：

    

　 生成公钥：ssh-keygen

    

　　公钥密码可以留空

     

　　检查/root/.ssh目录是否生成文件authorized_keys，如果没有使用touch authorized_keys 生成一个

　　把公钥的内容复制到authorized_keys文件中cat id_rsa.pub >> authorized_keys

　　修改authorized_keys权限为600： chmod 600  authorized_keys

　　验证是否配置成，命令：ssh localhost

     

12.克隆两台虚拟机

13.建立三台虚拟机的通信

     新增的两台虚拟机会在电脑的网络连接里多两个连接 

    

　　设置共享原来的本地连接

　　 

　　设置虚拟机连接

　　 

　　设置IP地址，DNS可以不设

　　 

　　在第一台虚拟机里新曾一个网络连接

　　 

　　分别再设置另两个CC02,CC03的IP分别为：192.168.100.129、192.168.100.131

　　之后三个虚拟机通信使用连接wired connection1

14.使用CC01为NameNode，CC03，CC03为DataNode

15.gedit /etc/hosts

　　添加数据：

　　　　192.168.198.140  CC01

　　　　192.168.198.141  CC02

　　　　192.168.198.142  CC03

16.配置SSH

      在CC02\CC03上分别执行

　　　　scp root@CC01:/root/.ssh/id_rsa.pub  /root/.ssh/CC01_rsa.pub

　　　　cat CC01_rsa.pub >> authorized_keys

　　在CC01上执行

　　　　scp root@CC01:/root/.ssh/id_rsa.pub  /root/.ssh/CC01_rsa.pub

　　　　cat  /root/.ssh/CC01_rsa.pub  >>  /root/.ssh/authorized_keys

17.配置conf/masters , conf/slaves

　　在所有节点上：

　　　　gedit /opt/hadoop-2.7.3/etc/hadoop/加入一行：CC01

　　　　gedit /opt/hadoop-2.7.3/etc/hadoop/slaves加入行：

　　　　　　CC02

　　　　　　CC03

18.配置core-site.xml

　　<configuration>

    　　<property>

        　　<name>fs.default.name</name>

　　　　　<value>hdfs://CC01:9000</value>

    　　</property>

　　</configuration>

19.配置hdfs-site.xml:

　　<configuration>
    　　<property>
        　　<name>dfs.replication</name>
    　　　　<value>1</value>
   　　 </property>
    　　<property>
       　　 <name>dfs.namenode.name.dir</name>
    　　　　<value>file:///opt/hadoop-2.7.3/hdfs/name</value>
    　　</property>
    　　<property>
       　　 <name>dfs.datanode.data.dir</name>
    　　　　<value>file:///opt/hadoop-2.7.3/hdfs/data</value>
    　　</property>
　　</configuration>

记得：

         mkdir /opt/hadoop-2.7.3/hdfs/name

         mkdir /opt/hadoop-2.7.3/hdfs/data

20.配置mapred-site.xml:

<configuration>

    <property>

        <name>mapred.job.tracker</name>

<value>CC01:9001</value>

    </property>

</configuration>

21.格式化分布式文件系统

在namenode上

         /opt/hadoop-2.7.3/bin/hdfs namenode –format

22.启动HDFS，在namenode上

         /opt/hadoop-2.7.3/sbin/start-dfs.sh

　　 

 　　jps命令查看