zookeeper实现spark高可用

一 安装zookeeper

1.环境：hadoop+spark详情参考如下地址

https://blog.csdn.net/qq_36434219/article/details/80716189

2.下载zookeeper-3.4.10.tar.gz包,jdk1.8

3.解压（本人特意建了一个用户）

4.创建data和logs目录

5.修改配置文件(可以先配置hosts文件，就不用每次输入ip了，三台都要配)

6.在data目录下创建myid文件，并写入0（对应上面的server.x的x）

7.scp到其他两台zookeeper，并修改myid

8.启动zookeeper,bin目录下

9.jps查看（可能报命令不存在，需要装一下高版本jdk）

二.spark怎么用

1.

2.start-all.sh

 

worker起不来，去掉spark-env.sh中的zookeeper配置，就可以起来，纠结了一周了

一定要解决它，等待下次更新，希望不要太久

 

更新..................................................

伪分布式集群，受本身电脑配置限制，worker起不来，在工作中真实集群中，如此配置，一切正常！！！！！！！！！！