大数据第四课-Hive的安装和简单使用

一、安装MySQL

CentOS 7中切换到root用户，安装mysql

在CentOS 7中默认安装有MariaDB，这个是MySQL的分支；但还是要安装MySQL，而且安装完成之后会直接覆盖掉MariaDB

su root
cd /kkb/soft/

1、下载并安装mysql官方的yum源

yum -y install wget

出现一下界面表示安装成功

 2、使用wget命令下载mysql的rpm包

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

3、安装mysql

yum -y install mysql57-community-release-el7-10.noarch.rpm

出现以下界面表示安装成功

 4、安装mysql server

　（这步可能会花些时间，需要在线下载，视网速而定；然后再安装；安装完成后就会覆盖掉之前的mariadb）

yum -y install mysql-community-server

 5、首先启动MySQL服务

systemctl start mysqld.service

6、查看mysql启动状态

systemctl status mysqld.service

下图active（running）表示mysql服务已启动

 7、查看临时密码并使用临时密码登陆

grep "password" /var/log/mysqld.log

mysql -uroot -p

 然后在MySQL里面进行下面一系列操作

设置密码策略为LOW，此策略只检查密码的长度
set global validate_password_policy=LOW;
设置密码最小长度
set global validate_password_length=6;
修改mysql的root用户，本地登陆的密码为123456
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
开启mysql的远程连接权限
grant all privileges  on  *.* to 'root'@'%' identified by '123456' with grant option;
刷新权限
flush privileges;

 二、安装Hive

下载hive的安装包

http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.14.2.tar.gz

规划安装目录 /kkb/install

上传安装包到node03服务器中的/kkb/soft路径下

解压安装包到指定的规划目录/kkb/install

tar -xzvf hive-1.1.0-cdh5.14.2.tar.gz -C /kkb/install/

1、修改配置文件

进入到Hive的安装目录下的conf文件夹中

cd /kkb/install/hive-1.1.0-cdh5.14.2/conf/

重命名hive-env.sh.template

mv hive-env.sh.template hive-env.sh

修改hive-env.sh，修改内容如下

#配置HADOOP_HOME路径
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2/

#配置HIVE_CONF_DIR路径
export HIVE_CONF_DIR=/kkb/install/hive-1.1.0-cdh5.14.2/conf

修改hive-site.xml

conf目录下默认没有此文件，vim创建即可conf目录下默认没有此文件，vim创建即可

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=latin1&amp;useSSL=false</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
        <property>
                <name>hive.cli.print.current.db</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.cli.print.header</name>
            <value>true</value>
        </property>
        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>node03</value>
        </property>
</configuration>

修改日志配置文件hive-log4j.properties

创建hive日志存储目录

mkdir -p /kkb/install/hive-1.1.0-cdh5.14.2/logs/

重命名生成文件hive-log4j.properties

mv hive-log4j.properties.template hive-log4j.properties

修改此文件的hive.log.dir属性的值

#更改以下内容，设置我们的hive的日志文件存放的路径，便于排查问题
hive.log.dir=/kkb/install/hive-1.1.0-cdh5.14.2/logs/

2、上传mysql驱动包

mysql-connector-java-5.1.38.jar到/kkb/soft目录中

cp mysql-connector-java-5.1.38.jar /kkb/install/hive-1.1.0-cdh5.14.2/lib/

配置Hive环境变量

export HIVE_HOME=/kkb/install/hive-1.1.0-cdh5.14.2
export PATH=$PATH:$HIVE_HOME/bin

切换回hadoop用户，并source

source /etc/profile

 三、检查MySQL和Hive的安装

1、进入MySQL，执行语句  show databases;

 

 2、启动hadoop集群后在node03节点上可以执行hive