3.19Hive安装部署

Hive安装部署：

1.首先在Linux本地，新建/data/hive1目录，用于存放所需文件。

mkdir -p /data/hive1

 

切换目录到/data/hive1下，使用wget命令，下载hive所需安装包hive-1.1.0-cdh5.4.5.tar.gz以及mysql-connector-java-5.1.26-bin.jar。

cd /data/hive1

wget http://192.168.1.150:60000/allfiles/hive1/hive-1.1.0-cdh5.4.5.tar.gz

wget http://192.168.1.150:60000/allfiles/hive1/mysql-connector-java-5.1.26-bin.jar

 

2.将/data/hive1目录下的hive-1.1.0-cdh5.4.5.tar.gz，解压缩到/apps目录下。

tar -xzvf hive-1.1.0-cdh5.4.5.tar.gz -C /apps/

 

再切换到/apps目录下，将/apps/hive-1.1.0-cdh5.4.5，重命名为hive。

cd /apps

mv /apps/hive-1.1.0-cdh5.4.5/ /apps/hive

 

 

3.使用vim打开用户环境变量。（密码：zhangyu）

sudo vim ~/.bashrc

 

将Hive的bin目录，添加到用户环境变量PATH中，然后保存退出。

#hive config

export HIVE_HOME=/apps/hive

export PATH=$HIVE_HOME/bin:$PATH

 

 

执行source命令，使Hive环境变量生效。

source ~/.bashrc

 

4.由于Hive需要将元数据，存储到Mysql中。所以需要拷贝/data/hive1目录下的mysql-connector-java-5.1.26-bin.jar到hive的lib目录下。

cp /data/hive1/mysql-connector-java-5.1.26-bin.jar /apps/hive/lib/

 

5.下面配置Hive，切换到/apps/hive/conf目录下，并创建Hive的配置文件hive-site.xml。

cd /apps/hive/conf

touch hive-site.xml

 

使用vim打开hive-site.xml文件。

vim hive-site.xml

 

并将下列配置项，添加到hive-site.xml文件中。

<configuration>  

    <property>  

        <name>javax.jdo.option.ConnectionURL</name>  

        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExsit=true;characterEncoding=latin1</value>  

    </property>  

    <property>  

        <name>javax.jdo.option.ConnectionDriverName</name>  

        <value>com.mysql.jdbc.Driver</value>  

    </property>  

    <property>  

        <name>javax.jdo.option.ConnectionUserName</name>  

        <value>root</value>  

    </property>  

    <property>  

        <name>javax.jdo.option.ConnectionPassword</name>  

        <value>strongs</value>  

    </property>  

</configuration>

 

 

由于Hive的元数据会存储在Mysql数据库中，所以需要在Hive的配置文件中，指定mysql的相关信息。

javax.jdo.option.ConnectionURL：数据库链接字符串。

javax.jdo.option.ConnectionDriverName：连接数据库的驱动包。

javax.jdo.option.ConnectionUserName：数据库用户名。

javax.jdo.option.ConnectionPassword：连接数据库的密码。

此处的数据库的用户名及密码，需要设置为自身系统的数据库用户名及密码。

6.另外，还需要告诉Hive，Hadoop的环境配置。所以我们需要修改hive-env.sh文件。

首先我们将hive-env.sh.template重命名为hive-env.sh。

mv /apps/hive/conf/hive-env.sh.template  /apps/hive/conf/hive-env.sh

 

使用vim打开hive-env.sh文件。

vim hive-env.sh

 

 

追加Hadoop的路径，以及Hive配置文件的路径到文件中。

# Set HADOOP_HOME to point to a specific hadoop install directory

# HADOOP_HOME=${bin}/../../hadoop

HADOOP_HOME=/apps/hadoop

# Hive Configuration Directory can be controlled by:

# export HIVE_CONF_DIR=

export HIVE_CONF_DIR=/apps/hive/conf

 

 

7.下一步是配置Mysql，用于存储Hive的元数据。

首先，需要保证Mysql已经启动。执行以下命令，查看Mysql的运行状态。

sudo service mysql status

 

 

通过输出，可以看出Mysql未启动。所以需要执行启动命令。

sudo service mysql start

 

如果未安装Mysql则需要执行安装命令。若我们的环境已安装Mysql，则无需执行此步。

sudo apt-get install mysql-server

 

8.开启Mysql数据库。

mysql -u root -p

 

此时会提示输入密码，此处密码为strongs

 

创建名为hive的数据库，编码格式为latin1，用于存储元数据。

create database hive CHARACTER SET latin1;

 

查看数据库是否创建成功。

show databases;

 

 

下面，输入exit退出Mysql。

exit

 

9.执行测试。由于Hive对数据的处理，依赖MapReduce计算模型，所以需要保证Hadoop相关进程已经启动。

输入jps，查看进程状态。若Hadoop相关进程未启动，则需启动Hadoop。

/apps/hadoop/sbin/start-all.sh

 

启动Hadoop后，在终端命令行界面，直接输入hive便可启动Hive命令行模式。

hive

 

输入HQL语句查询数据库，测试Hive是否可以正常使用。（要求：在/data/目录下，创建文件check，并将此步骤的运行结果保存至check中。）

show databases;