三多
技术领域的难题往往代表着经典 而我只是一个伪技术宅!!!
Hue是Cloudera开源的一个Hadoop UI,由Cloudera Desktop演化而来。面向用户提供方便的UI用于平时的Hadoop操作中。Apache Ambari面向的是管理员,用于安装、维护集群,而不是使用集群。两者针对的是不同需求。

Hue安装:

 
官网教程:http://gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/
 
 
依赖安装:
 
sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel  gmp-devel openssl-devel  
(不同环境的依赖包参考这里
JDK安装
这里必须安装oracle JDK(具体参考这里
 

Maven和Ant安装

Hue的安装过程需要依赖于Maven和Ant,按常规方法安装Maven和Ant,配置MAVEN_HOME,ANT_HOME,并将bin目录加入PATH。具体步骤略。

 
MAV(apache-maven 或者  maven3 tarball )这里安装的是apache-maven
 
sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
 
sudo sed -i s/\$releasever/6/g /etc/yum.repos.d/epel-apache-maven.repo
 
sudo yum install -y apache-maven
 
mvn --version
 
如果网络带宽足够可以略过此步骤,这里配置maven更新源,主要使用的是阿里的源
 
# 配置文件所在的位置是/etc/maven/settings.xml
<mirrors>
     <mirror>
         <id>alimaven</id>
         <mirrorOf>central</mirrorOf>
         <name>aliyun maven</name>
         <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
     </mirror>
 
     <mirror>
         <id>ui</id>
         <mirrorOf>central</mirrorOf>
         <name>Human Readable Name for this Mirror.</name>
         <url>http://uk.maven.org/maven2/</url>
     </mirror>
 
     <mirror>
         <id>jboss-public-repository-group</id>
         <mirrorOf>central</mirrorOf>
         <name>JBoss Public Repository Group</name>
         <url>http://repository.jboss.org/nexus/content/groups/public</url>
     </mirror>
 </mirrors>
可以从本地导入hue安装包,也可以直接使用wget下载,wget需要sudo权限
下载安装hue
 
 sudo wget https://dl.dropboxusercontent.com/u/730827/hue/releases/4.0.1/hue-4.0.1.tgz
 tar zxvf hue-4.0.1.tgz
 cd hue-4.0.1.tgz
 #安装
 make apps
如果编译出现问题,需要重新clean,再编译
 
make clean
make apps
 

配置Hue

Hue的配置集中在$HUE_HOME/desktop/conf/hue.ini文件,针对不同的Hadoop组件分段配置。详细配置文件参考这里。下面是我的配置示例:

注意,这里设置的主机的域名为master,配置时需要根据实际情况进行配置

Hue
 
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=0.0.0.0
http_port=8888
server_user=hue
server_group=hue
default_user=hue
default_hdfs_superuser=hue
 注意:这默认的账户为hue,如果你配置的账户和我的不相同,请在hadoop代理配置中保持一致
否则会出现一些列关于权限的问题如:

 

Hadoop/HDFS
fs_defaultfs=hdfs://master:9000
webhdfs_url=http://master:50070/webhdfs/v1
hadoop_conf_dir=/home/hadoop/hadoop-2.6.0/etc/hadoop
 

YARN

 resourcemanager_host=master
 resourcemanager_port=8032
 resourcemanager_api_url=http://master:18088
 proxy_api_url=http://master:18088
 history_server_api_url=http://master:19888
 
 
HBase
 hbase_clusters=(Cluster|master:9090)
 hbase_conf_dir=/home/hadoop/hbase-1.0.1.1/conf
 
 
Hive
 hive_server_host=master
 hive_server_port=10000
 hive_conf_dir=/home/hadoop/apache-hive-1.2.1-bin/conf
 
 
Pig
 # Location of piggybank.jar on local filesystem.
 ## local_sample_dir=/usr/share/hue/apps/pig/examples
 # Location piggybank.jar will be copied to in HDFS.
 ## remote_data_dir=/user/hue/pig/examples
 
 
Sqoop2
 server_url=http://master:12000/sqoop
 sqoop_conf_dir=/home/sqoop-1.99.6/conf

hadoop配置

在hdfs-site.xml添加

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

在core-site.xml添加

<!-- enable WebHDFS in the NameNode and DataNodes -->
<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<!-- Hue WebHDFS proxy user setting --> <property> <name>hadoop.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hue.groups</name> <value>*</value> </property>
<property>  
<name>hadoop.proxyuser.httpfs.hosts</name>  
<value>*</value>  
</property>  
<property>  
<name>hadoop.proxyuser.httpfs.groups</name>  
<value>*</value>  
</property>  

注意:这里使用的webHDFS,如果需要httpFS,请参考官网进行配置

配置成功以后需要重新启动hadoop集群,注意需要将配置问题同步到所有主机上

启动及界面

启动

首先启动Hadoop集群中的HDFS,YARN,HBase等相关组件。
然后在$HUE_HOME目录下:

  1. nohup build/env/bin/supervisor &

根据配置的端口访问,我这里是8888端口:

image_1ap6iqdhnjgjad6nmfoj7132n9.png-47.1kB

首次访问时,会让你设置用户名和密码,这个是超级管理账号。登陆后:

 

HBase界面

先要启动HBase的Thrift Server:

  1. % start-hbase.sh
  2. % hbase-daemon.sh start thrift -p 9090

image_1ap6iusb017c3145rvdeo3fuu1g.png-23.9kB

image_1ap6iudps1md9dqrbba13m61k0013.png-67.9kB

Hive界面

首先要启动HiverServer2

  1. % hiveserver2

image_1ap6j0fpatc5flsv8t1gdn1brr1t.png-36.3kB

Hive查询:

image_1ap6j18mi9js17fh54i1rhfvi72a.png-109.6kB

异常情况:

  1. Hive metastore异常:
  2. Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found

解决方案:安装sasl缺失的依赖,确保安装了以下依赖:

image_1ap6j8ath1p4m16mc1k7o2sk1aol3u.png-13.8kB

Sqoop作业

image_1ap6j9u8felt2bh15n4prpl64b.png-34.6kB

Pig脚本

image_1ap6jbqeh1uo77vs1qqne4seu64o.png-64.5kB

作业执行情况

image_1ap6j5pgv1fhj87al6v1gadums34.png-53.6kB

image_1ap6j62ok13m48e1rhl1ogemm33h.png-48kB

启动Spark-shell后:
image_1ap6j4r5n12tt1ihh1cvclbmbhk2n.png-51kB

文件浏览

image_1ap6jdll61u0l1fvic5a16er2rt55.png-151kB

hue4的界面和hue3部分不相同,界面提供了切换选项:

 

hue参考资料

Hue项目:
http://gethue.com/
https://github.com/cloudera/hue

Hue安装配置实践:
http://www.tuicool.com/articles/zIrqemB

Hue3.9 Tarball安装:
http://blog.csdn.net/bluishglc/article/details/48393291

 
Hue安装及问题:
http://blog.csdn.net/wenlong237/article/details/19735603 http://blog.csdn.net/zhoujj303030/article/details/44832363
posted on 2017-08-23 23:25  SanDuo1314  阅读(3960)  评论(1编辑  收藏  举报