大数据平台搭建（三） ---- Hive安装

本文已参与[新人创作礼]活动，一起开启掘金创作之路。

大数据搭建架构图如下：

安装hive

在master节点创建hive的安装目录

mkdir -p /usr/hive

解压hive

tar -zxvf /opt/bigbata/apache-hive-2.3.9-bin.tar.gz -C /usr/hive/

给node1节点创建hive文件夹

scp -r /usr/hive/apache-hive-2.3.9-bin root@node1:/usr/hive/

修改环境变量

vi /etc/profile

在文件最后添加 export HIVE_HOME=/usr/hive/apache-hive-2.3.9-bin

export PATH=$PATH:$HIVE_HOME/bin

重新加载环境变量

source /etc/profile

将上传到master节点的mysql的jar包传送到node1中

scp /opt/bigbata/mysql-connector-java-5.1.20-bin.jar root@node1:/usr/hive/lib

在node1上配置环境变量

vi /etc/profile

在文件最后添加

export HIVE_HOME=/usr/hive

export PATH=$PATH:$HIVE_HOME/bin

重新加载环境变量

source /etc/profile

修改配置文件

进入到hive的配置目录中

cd /usr/hive/conf

修改配置文件env.sh

cp hive-env.sh.template hive-env.sh

vi hive-env.sh

添加

HADOOP_HOME=/usr/local/hadoop

修改配置文件hive-site.xml

cp hive-default.xml.template hive-site.xml

vi hive-site.xml

添加在字段<configuration>的首行中

<configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive_remote/warehouse</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node2:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> <property> <name>datanucleus.schema.autoCreateAll</name> <value>true</value> </property> </configuration>

保存，退出 截图如下：

master节点操作

将hive的客户端的jar包复制到hadoop中

cp /usr/hive/apache-hive-2.3.9-bin/lib/jline-2.12.jar /usr/local/hadoop/share/hadoop/yarn/lib

修改master的hive-site.xml文件

cd /usr/hive/apache-hive-2.3.9-bin/conf/

cp hive-default.xml.template hive-site.xml

vi hive-site.xml

添加在字段<configuration>的首行中

<configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> <name>hive.metastore.local</name> <value>false</value> </property> <property> <name>hive.metastore.uris</name> <value>thrift://node1:9083</value> </property> </configuration> 保存，退出 截图如下：

启动hive

node1:

启动hive服务端程序(任何地方都行，配置过环境变量；简易在此目录/usr/hive下)

hive --service metastore 或 nohup hive --service metastore & （挂载到后台）

master:

启动客户端（任何地方都行，配置过环境变量）

hive 或 nohup hive & （挂载到后台）

验证hive

输入hive shell 进入hive

在hive内输入show databases;

在mysql中查看数据库列表，就会发现出现了hive数据库

输入jps查看进程，就会看到有"RunJar"

感谢大家的支持，关注，转发，评论！