Hive数仓：安装部署

1进入实验启动Hadoop集群

6.1.1在master启动Hadoop集群

1. [zkpk@master ~]$ start-all.sh

图 2

6.1.2在master上运行jps，确认NameNode, SecondaryNameNode, ResourceManager进程启动

图 3

6.1.3在slave01上运行jps，确认DataNode, NodeManager进程启动

图 4

6.1.4在slave02上运行jps，确认DataNode, NodeManager进程启动

图 5

6.2解压并安装Hive

6.2.1从Hive的公共目录/home/zkpk/tgz/hive下拷贝apache-hive-2.1.1-bin.tar.gz文件到/home/zkpk目录下

6.2.2使用下面的命令，拷贝并解压Hive安装包

1. [zkpk@master ~]$ cp ~/tgz/hive/apache-hive-2.1.1-bin.tar.gz ~/
2. [zkpk@master ~]$ tar -zxvf /home/zkpk/apache-hive-2.1.1-bin.tar.gz

6.2.3查看解压后hive目录中包含的文件

1. [zkpk@master ~]$ cd /home/zkpk/apache-hive-2.1.1-bin
2. [zkpk@master apache-hive-2.1.1-bin]$ ll

图 6

6.3向MySQL中添加hadoop用户和创建名为（hive）的数据库

6.3.1以root用户登录MySQL（注意：这里的root是数据库的root用户，不是系统的root用户）

6.3.1.1登录mysql（密码：zkpk）

1. [zkpk@master apache-hive-2.1.1-bin]$ cd
2. [zkpk@master ~]# mysql –uroot -pzkpk

图 7

6.3.1.2创建hadoop用户（密码：hadoop）

1. mysql>grant all on *.* to hadoop@'%' identified by 'hadoop';
2. mysql>grant all on *.* to hadoop@'localhost' identified by 'hadoop';
3. mysql>grant all on *.* to hadoop@'master' identified by 'hadoop';
4. mysql>flush privileges;

图 8

6.3.1.3创建数据库（名字：hive）

1. mysql> create database hive;

图 9

6.3.1.4退出MySQL

1. mysql> exit;

图 10

6.4配置hive

6.4.1进入hive安装目录下的配置目录

1. [zkpk@master ~]$ cd /home/zkpk/apache-hive-2.1.1-bin/conf/

6.4.2创建hive配置文件（名称：hive-site.xml）

1. [zkpk@master conf]$ vim hive-site.xml

6.4.3在hive-site.xml文件中添加如下内容

1. <?xml version="1.0"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3. <configuration>
4. <property>
5. <name>hive.metastore.local</name>
6. <value>true</value>
7. </property>
8. <property>
9. <name>javax.jdo.option.ConnectionURL</name>
10. <value>jdbc:mysql://master:3306/hive?characterEncoding=UTF-8</value>
11. </property>
12. <property>
13. <name>javax.jdo.option.ConnectionDriverName</name>
14. <value>com.mysql.jdbc.Driver</value>
15. </property>
16. <property>
17. <name>javax.jdo.option.ConnectionUserName</name>
18. <value>hadoop</value>
19. </property>
20. <property>
21. <name>javax.jdo.option.ConnectionPassword</name>
22. <value>hadoop</value>
23. </property>
24. </configuration>

图 11

6.5复制MySQL连接驱动到hive根目录下的lib目录中（MySQL驱动已存放在/home/zkpk/tgz/下）

1. [zkpk@master conf]$ cd
2. [zkpk@master ~]$ cp /home/zkpk/tgz/sqoop/mysql-connector-java-5.1.28.jar /home/zkpk/apache-hive-2.1.1-bin/lib/
3. [zkpk@master ~]$ cd apache-hive-2.1.1-bin/lib/
4. [zkpk@master lib]$ ll | grep mysql-connector-java-5.1.28.jar

图 12

6.6配置系统zkpk用户环境变量

6.6.1命令

1. [zkpk@master lib]$ cd
2. [zkpk@master ~]$ vim /home/zkpk/.bash_profile

6.6.2将下面两行配置添加到环境变量中

1. #HIVE
2. export HIVE_HOME=/home/zkpk/apache-hive-2.1.1-bin
3. export PATH=$PATH:$HIVE_HOME/bin

图 13

6.6.3使环境变量生效

1. [zkpk@master ~]$ source /home/zkpk/.bash_profile

6.7启动并验证Hive安装

6.7.1初始化hive元数据库

说明：该命令是把hive的元数据都同步到mysql 中

1. [zkpk@master ~]$ schematool -dbType mysql -initSchema

图 14

注意：如果不执行上面的命令会出现下图错误

图 15

6.7.2启动hive客户端

注意：如果未配置5.7步骤中的用户环境请到hive根目录下执行“/bin/hive”

1. [zkpk@master ~]$ hive

图 16

6.7.3退出hive客户端

1. hive>exit;

图 17