Spark 完全分布式集群搭建过程及启动过程

声明

1）该文章整理自网上的大牛和专家无私奉献的资料，具体引用的资料请看参考文献。
2）本文仅供学术交流，非商用。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。
3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。
4）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦。

一：实验环境

 1 1.1 服务器上启动三台虚拟机
 2 root@master  11.24.24.111  master
 3 root@slave1  11.24.24.112  slave1
 4 root@slave2  11.24.24.113   slave2
 5 
 6 
 7 1.2 软件版本：
 8 hadoop-2.7.6 + spark-3.0.0 + Scala2.13.2
 9 
10 修改主机名和hosts
11 1.1 更改主机名
12 root@master:~$ sudo vim /etc/hostname
13 改成master //其他两个分别改为slave1 和slave2
14 注意：主机名全部以小写字母开头，后文在配置环境时注意不要误用大写！
15 
16 1.2 修改hosts
17 root@master:~# sudo vim /etc/hosts
18 修改hosts  需要将注释的所有127.0.0.1以及locahost 取消注释！！！！不然子节点无法启动
19 //将原文件（127.0.0.0 localhost）下面添加以下信息：
20 11.24.24.111  master
21 11.24.24.112  slave1
22 11.24.24.113   slave2
23 
24 //退出后重启虚拟机
25 root@master:~# sudo reboot
26 
27 //分别对集群中的所有节点进行以上相似的设置

二：安装基础环境（Java和scala）

 1 对所有节点安装java和scala
 2 
 3 2.1 Java环境搭建
 4 1）下载jdk-1.8并解压到 /usr/local
 5 
 6 root@master:~$ sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/
 7 
 8 2）添加java环境变量，在/etc/profile中添加：
 9 
10 root@master:~$ sudo vim /etc/profile
11 
12 export JAVA_HOME=/usr/local/java
13 PATH=$JAVA_HOME/bin:$PATH
14 CLASSPATH=.:$JAVA_HOME/lib/rt.jar
15 export JAVA_HOME PATH CLASSPATH
16 
17 3）保存后刷新配置
18 [root@master ~]# source /etc/profile
19 
20 4）使用java -version命令确认
21 [root@master ~]# java -version
22 java version "1.8.0_251"
23 Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
24 Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)
25 
26 
27 2.2 scala环境搭建
28 1）下载scala安装包scala2.13.2.tgz安装到 /usr/local/
29 
30 root@master:~$ sudo tar -zxvf scala2.13.2.tgz -C /usr/local/
31 root@master:~$ mv scala2.13.2  scala
32 2）添加Scala环境变量，在/etc/profile中添加：
33 
34 root@master:~# sudo vim /etc/profile
35 
36 export SCALA_HOME=/usr/local/scala
37 export PATH=$SCALA_HOME/bin:$PATH
38 
39 3)保存后刷新
40 root@master:~# source /etc/profile
41 
42 4）使用scala -version命令确认
43 [root@master ~]# scala -version
44 
45 Scala code runner version 2.13.2 -- Copyright 2002-2020, LAMP/EPFL and Lightbend, Inc.

三：ssh无密码验证配置

 1 -对所有节点安装ssh
 2 root@master:~$ sudo yum install ssh
 3 
 4 3.1 配置master无密码登录所有slave
 5 以下是在master节点上执行以下命令：
 6 1）在master节点上生成密码对
 7 ubuntu@master:~$ ssh-keygen -t rsa -P ''
 8 
 9 // Enter 继续
10 //生成的密钥对：id_rsa和id_rsa.pub存储在” ~/.ssh”目录下(注意可能会不同)
11 
12 2）把id_rsa.pub追加到授权的key里面去
13 root@master:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
14 
15 3）修改ssh配置文件”/etc/ssh/sshd_config”的下列内容
16 root@master:~$ sudo vim /etc/ssh/sshd_config
17 
18 追加以下内容：
19 RSAAuthentication yes
20 PubkeyAuthentication yes
21 AuthorizedKeysFile  %h/.ssh/authorized_keys
22 
23 
24 4) 重启ssh服务，才能使刚才设置有效
25 root@master:~$ shutdown -r now
26 
27 5) 验证无密码登录本机是否成功。
28 root@master:~$ ssh master
29 
30 注意：无密码登录成功后，使用Ctrl+D退出当前登录，防止嵌套登录
31 
32 6）把公钥复制到所有的Slave机器上
33 root@master:~$ scp ~/.ssh/id_rsa.pub root@slave1:~/  #注意不能有空格
34 root@master:~$ scp ~/.ssh/id_rsa.pub root@slave2:~/  #注意直接放在主目录下 
35 
36 可以到slave节点的机器中看一下 ~/.ssh/ 是否多处了一个内容id_rsa.pub
37 
38 -以下是在slave1 (11.24.24.112)节点的配置操作
39 1）将Master的公钥追加到Slave1的授权文件”authorized_keys”中去。
40 root@slave1:~ $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
41 
42 2) 修改”/etc/ssh/sshd_config”，具体步骤参考前面Master设置的第3步和第4步。
43 root@slave1:~/.ssh$ sudo vim /etc/ssh/sshd_config
44 
45 3）用master使用ssh无密码登录slave1
46 root@master:~$ ssh 11.24.24.112    或者是 ssh root@slave1
47 
48 4）把slave节点中的” ~/”目录下的”id_rsa.pub”文件删除掉。
49 root@slave1:~/.ssh$ rm -r ~/id_rsa.pub　　
50 重复上面的4个步骤把Slave2服务器进行相同的配置
51 
52 
53 3.2 配置slave无密码登录master
54 -以下是在slave1节点(11.24.24.112)的配置操作。
55 // 1）创建”Slave1”自己的公钥和私钥，并把自己的公钥追加到”authorized_keys”文件中，执行下面命令：
56 
57 root@slave1:~/.ssh$ ssh-keygen -t rsa -P ''
58 root@slave1:~/.ssh$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys　　
59 
60 2）将slave1节点的公钥”id_rsa.pub”复制到Master节点的”/root/”目录下。
61 
62 root@slave1:~/.ssh$ scp ~/.ssh/id_rsa.pub root@master:~/　　　　
63 
64 以下是在master节点的配置操作
65 1）将Slave1的公钥追加到Master的授权文件”authorized_keys”中去。
66 
67 root@slave1:~ $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 　　
68 
69 2）删除Slave1复制过来的”id_rsa.pub”文件。
70 
71 root@slave1:~ $ rm -r ~/id_rsa.pub 　　
72 
73 // 配置完成后测试从Slave1到Master无密码登录。
74 
75 root@slave1:~ $ ssh 11.24.24.111
76 
77 按照上面的步骤把Slave2和Master之间建立起无密码登录。
78 - 这样，Master能无密码验证登录每个Slave，每个Slave也能无密码验证登录到Master。

四：Hadoop 完全分布式搭建

-以下是在master节点上的操作
1）下载hadoop 并解压到/opt/
root@master:~$ sudo tar -zxvf hadoop.tar.gz -C /opt/　　

2)修改配置文件，添加以下内容
root@master:~$ sudo vim /etc/profile　　

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

修改完成后执行：
root@master:~$ source /etc/profile

[root@master hadoop]# mkdir data
[root@master hadoop]# mkdir tmp
[root@master hadoop]# mkdir name

3）修改hadoop的相关配置
修改JAVA_HOME 如下：
root@master:/opt/hadoop $ sudo vim ./etc/hadoop/hadoop-env.sh

 export JAVA_HOME=/usr/local/java
 
 修改$HADOOP_HOME/etc/hadoop/slaves，将原来的localhost删除，改成如下内容：
 root@master:/opt/hadoop$ sudo vim ./etc/hadoop/slaves
 
 slave1
 slave2
 
 修改$HADOOP_HOME/etc/hadoop/core-site.xml
 root@master:/opt/hadoop$ sudo vim ./etc/hadoop/core-site.xml
 
 <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
      <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/hadoop/tmp</value>
     </property>
</configuration>

修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
root@master:/opt/hadoop$ sudo vim ./etc/hadoop/hdfs-site.xml
<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/opt/hadoop/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/opt/hadoop/hdfs/data</value>
    </property>
</configuration>

复制template，生成xml，命令如下：
root@master:/opt/hadoop/etc/hadoop$ cp mapred-site.xml.template mapred-site.xml

修改$HADOOP_HOME/etc/hadoop/mapred-site.xml
root@master:/opt/hadoop/etc/hadoop$ sudo vim mapred-site.xml

<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>master:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>master:19888</value>
  </property>
</configuration>

修改$HADOOP_HOME/etc/hadoop/yarn-site.xml
root@master:/opt/hadoop/etc/hadoop$ sudo vim yarn-site.xml

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>master:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>master:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>master:8088</value>
     </property>
</configuration>

4）复制master节点的hadoop文件夹到slave1和slave2上
scp -r /opt/hadoop root@slave1:/opt

5）在Slave1和Slave2上分别修改/etc/profile，(hadoop的配置信息) 过程同master一样
格式化HDFS [只有首次部署才可使用]【谨慎操作，只在master上操作】
root@master:~$ hadoop namenode -format

启动集群 【只在master上操作】
root@master:~$ /opt/hadoop/sbin/start-all.sh

6）查看三台集群是否启动成功： jps
[root@master sbin]# jps
24673 NodeManager
30547 Jps
21081 NameNode
24331 ResourceManager
23180 SecondaryNameNode
22015 DataNode

[root@slave1 ~]# jps
8323 NodeManager
8759 Jps
8092 DataNode

[root@slave2 ~]# jps
6677 Jps
6266 DataNode
6414 NodeManager

SecondaryNameNode是NameNode的备份，本文将其都配置master节点上。（一般是配置在不同的节点上，以助于主节点挂掉的时候对它恢复）
slave1和slave2都仅作为计算节点（DataNode）
-至此hadoop的完全分布式环境搭建成功。

7)web端11.24.24.111:8088查看

五：Spark 2.1.0完全分布式环境搭建

 1 -以下操作都是在master节点进行
 2 1）下载二进制包spark-3.0.0-bin-hadoop2.7.tgz
 3 2）解压到相应目录
 4 root@master:~$ tar -zxvf spark-3.0.0-bin-hadoop2.7.tgz -C /opt
 5 root@master:~$ mv /opt/spark-3.0.0-bin-hadoop2.7.tgz /opt/spark
 6 
 7 3）修改相应的配置文件
 8 修改/etc/profie，增加如下内容：
 9 
10 root@master:/opt$ sudo vim /etc/profile
11 
12 export SPARK_HOME=/opt/spark/
13 export PATH=$PATH:$SPARK_HOME/bin
14 
15 复制spark-env.sh.template成spark-env.sh
16 
17 root@master:/opt/spark/conf$ sudo cp spark-env.sh.template spark-env.sh
18 
19 修改$SPARK_HOME/conf/spark-env.sh，添加如下内容.（标注需要改为自己的版本）
20 
21 root@master:/opt/spark-2.1/conf$ sudo vim spark-env.sh
22 
23 export JAVA_HOME=/usr/local/java
24 export SCALA_HOME=/usr/local/scala
25 export HADOOP_HOME=/opt/hadoop
26 export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
27 export SPARK_MASTER_IP=11.24.24.111
28 export SPARK_MASTER_HOST=11.24.24.111
29 #export SPARK_LOCAL_IP=11.24.24.112
30 #export SPARK_LOCAL_IP=11.24.24.113
31 export SPARK_LOCAL_IP=0.0.0.0
32 export SPARK_WORKER_MEMORY=1g
33 export SPARK_WORKER_CORES=2
34 export SPARK_HOME=/opt/spark
35 export SPARK_DIST_CLASSPATH=$(/opt/hadoop/bin/hadoop classpath)
36 
37 复制slaves.template成slaves
38 root@master:/opt/spark/conf$ sudo cp slaves.template slaves
39 
40 修改$SPARK_HOME/conf/slaves，在原来的localhost下面改为如下内容：
41 root@master:/opt/spark/conf$ sudo vim slaves
42 
43 master
44 slave1
45 slave2
46 （注意，如果不删除之前的localhost，spark搭建完成之后，会出现多个worker）
47 
48 4）将配置好的spark文件复制到slave1和slave2节点
49 root@master:/opt$ scp -r /opt/spark root@slave1:~   //拷贝整个目录
50 root@master:/opt$ scp -r /opt/spark root@slave2:~
51 root@slave1:~$ sudo mv spark/ /opt
52 root@slave2:~$ sudo mv spark/ /opt
53 
54 5）修改slave1和slave2配置。
55 root@slave1:~$ sudo vim /etc/profile
56 
57 在slave1和slave2上分别修改/etc/profile，增加Spark的配置，过程同master一样。
58 export SPARK_HOME=/opt/spark/
59 export PATH=$PATH:$SPARK_HOME/bin
60 
61 在save1和save2修改$SPARK_HOME/conf/spark-env.sh
62 root@master: $ sudo vim /opt/spark-2.1/conf/spark-env.sh
63 
64 将export SPARK_LOCAL_IP=192.168.110.XXX改成slave1和slave2对应节点的IP
65 
66 6) 在Master节点启动集群
67 先启动hadoop，在启动spark
68 
69 root@master:/opt$ /opt/hadoop/sbin/start-all.sh
70 root@master:/opt$ /opt/spark/sbin/start-all.sh
71 
72 7）查看集群是否启动成功：jps

 

posted @ 2020-07-08 16:59  采国文  阅读(1122)  评论(0)  编辑  收藏  举报