HUE配置文件hue.ini 的zookeeper模块详解（图文详解）（分HA集群）

 

不多说，直接上干货！

　　我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）

　　然后，安装目录是在/home/hadoop/app下。

 

　　官方建议在master机器上安装Hue，我这里也不例外。安装在bigdatamaster机器上。

 

　Hue版本：hue-3.9.0-cdh5.5.4

 需要编译才能使用（联网）


　说给大家的话：大家电脑的配置好的话，一定要安装cloudera manager。毕竟是一家人的。
同时，我也亲身经历过，会有部分组件版本出现问题安装起来要个大半天时间去排除，做好心里准备。废话不多说，因为我目前读研，自己笔记本电脑最大8G，只能玩手动来练手。
纯粹是为了给身边没高配且条件有限的学生党看的！ 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

 

 

 

 

 

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

 

 

 

 

 

一、以下是默认的配置文件

 　　这里，暂时不说

 

 

二、以下是跟我机器集群匹配的配置文件（非HA集群下怎么配置Hue的zookeeper模块）

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################

[zookeeper]

  [[clusters]]

    [[[default]]]
      # Zookeeper ensemble. Comma separated list of Host/Port.
      # e.g. localhost:2181,localhost:2182,localhost:2183
      host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181

      # The URL of the REST contrib service (required for znode browsing).
      ## rest_url=http://localhost:9998

      # Name of Kerberos principal when using security.
      ## principal_name=zookeeper

 

 

 

 

 

 

 

三、以下是跟我机器集群匹配的配置文件（非HA集群下怎么配置Hue的zookeeper模块）

 hadoop-2.6.0.tar.gz的集群搭建（5节点）

 

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################

[zookeeper]

  [[clusters]]

    [[[default]]]
      # Zookeeper ensemble. Comma separated list of Host/Port.
      # e.g. localhost:2181,localhost:2182,localhost:2183
      host_ports=djt11:2181,djt12:2181,djt13:2181,djt14:2181,djt15:2181

      # The URL of the REST contrib service (required for znode browsing).
      ## rest_url=http://localhost:9998

      # Name of Kerberos principal when using security.
      ## principal_name=zookeeper

 

 

 

 

 

 

　　如果，单独只配置上述的话，就算我们的zookeeper集群进程全都正常启动，但是，还是会无法连接，出现错误 无法正确连接到 Zookeeper！！！！timed out （这里，适用非HA和HA集群）

 

 

 

 

　　因为，官网给的步骤，很详细（记住，只要三步就好，一切都要看官网，别跟着别人的博客走）

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_hhc_hwn_rl

 

 

 

 

 　　第一步：首先，进入【ZOOKEEPER_HOME】目录下执行编译

[hadoop@bigdatamaster ~]$ cd $ZOOKEEPER_HOME
[hadoop@bigdatamaster zookeeper]$ ant

　　看大家的网速吧。我这里是，需将bigdatamaster、bigdataslave1和bigdataslave2里都安装了zookeeper，所以都要进行ant编译。

 

 　　然后，如下的目录，都会自动建立好

[mkdir] Created dir: /home/hue/Development/zookeeper/build/classes
[mkdir] Created dir: /home/hue/Development/zookeeper/build/lib
[mkdir] Created dir: /home/hue/Development/zookeeper/build/package/lib
[mkdir] Created dir: /home/hue/Development/zookeeper/build/test/lib

 

　　第二步：开启REST服务

cd src/contrib/rest
nohup ant run&

 

[hadoop@bigdatamaster rest]$ pwd
/home/hadoop/app/zookeeper/src/contrib/rest
[hadoop@bigdatamaster rest]$ ll
total 48
-rw-rw-r--. 1 hadoop hadoop  6630 Apr 26  2016 build.xml
drwxr-xr-x. 3 hadoop hadoop  4096 May  4 20:42 conf
-rw-rw-r--. 1 hadoop hadoop  2077 Apr 26  2016 ivy.xml
-rw-rw-r--. 1 hadoop hadoop   246 Apr 26  2016 NOTICE.txt
-rw-rw-r--. 1 hadoop hadoop  2422 Apr 26  2016 README.txt
-rwxr-xr-x. 1 hadoop hadoop  2281 Apr 26  2016 rest.sh
-rw-rw-r--. 1 hadoop hadoop 12961 Apr 26  2016 SPEC.txt
drwxr-xr-x. 5 hadoop hadoop  4096 Apr 26  2016 src
[hadoop@bigdatamaster rest]$ ./rest.sh start
Starting ZooKeeper REST Gateway ... 
STARTED
[hadoop@bigdatamaster rest]$ jps
2814 SecondaryNameNode
2661 NameNode
2982 ResourceManager
9688 ThriftServer
12134 Jps
3720 QuorumPeerMain
10777 HMaster
4141 RunJar
[hadoop@bigdatamaster rest]$ 

 

 

 

　

 

 　　第三步：去Hue配置文件，对应去修改zookeeper模块

 

 

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################

[zookeeper]

  [[clusters]]

    [[[default]]]
      # Zookeeper ensemble. Comma separated list of Host/Port.
      # e.g. localhost:2181,localhost:2182,localhost:2183
      host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181

      # The URL of the REST contrib service (required for znode browsing).
      rest_url=http://bigdatamaster:9998,http://bigdataslave1:9998,http://bigdataslave2:9998

      # Name of Kerberos principal when using security.
      principal_name=zookeeper

 

 

 

 

 　　然后，可以看到

 

 

 

 

 

 

 

 

 

 　　更多的细节，我这里不多赘述，大家自行去自己机器看吧！

 

　　成功!

 

 

 

 

 

 

 

 

 

 

 

 

 

欢迎大家，加入我的微信公众号：大数据躺过的坑        人工智能躺过的坑

 

 

 

同时，大家可以关注我的个人博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，每天必须有收获

 

      对应本平台的讨论和答疑QQ群：大数据和人工智能躺过的坑（总群）（161156071）