暑假总结八

本周开始学习hive的相关知识

首先在学习hive之前，我先了解了分布式SQL计算：以分布式的形式，执行SQL语句，进行数据统计分析。

在上周我学习了mapReduce分布式框架，但是使用Hadoop MapReduce直接处理数据所面临的问题 人员学习成本太高 需要掌握java、Python等编程语言 MapReduce实现复杂查询逻辑开发难度太大

所以Hive在当下是比较重要的知识

使用Hive处理数据的好处

操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）

底层执行MapReduce，可以完成分布式海量数据的SQL处理

部署Hive

1、安装MySQL数据库

在node1节点安装

# 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

# 安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm

# yum安装Mysql
yum -y install mysql-community-server

# 启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld

# 检查Mysql服务状态
systemctl status mysqld

# 第一次启动mysql，会在日志文件中生成root用户的一个随机密码，使用下面命令查看该密码
grep 'temporary password' /var/log/mysqld.log

# 修改root用户密码
mysql -u root -p -h localhost
Enter password:
 
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Root!@#$';

# 如果你想设置简单密码，需要降低Mysql的密码安全级别
set global validate_password_policy=LOW; # 密码安全级别低
set global validate_password_length=4;     # 密码长度最低4位即可

# 然后就可以用简单密码了（课程中使用简单密码，为了方便，生产中不要这样）
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';

/usr/bin/mysqladmin -u root password 'root'

grant all privileges on *.* to root@"%" identified by 'root' with grant option;  
flush privileges;

2、配置Hadoop

配置如下内容在Hadoop的core-site.xml中，并分发到其它节点，且重启HDFS集群

 

3、下载解压Hive

切换到hadoop用户
su - hadoop
下载Hive安装包：
http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
解压到node1服务器的：/export/server/内
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/
设置软连接
ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive

 

4、提供MySQL Driver包

下载MySQL驱动包：
https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

将下载好的驱动jar包，放入：Hive安装文件夹的lib目录内
mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/

 

5、配置Hive

在Hive的conf目录内，新建hive-env.sh文件，填入以下环境变量内容：

export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive/conf
export HIVE_AUX_JARS_PATH=/export/server/hive/lib

 

在Hive的conf目录内，新建hive-site.xml文件

vim hive-site.xml

 

填入以下内容

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>

  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node1</value>
  </property>

  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://node1:9083</value>
  </property>

  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>

</configuration>

 

6、初始化元数据库

支持，Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。
在MySQL中新建数据库：hive
CREATE DATABASE hive CHARSET UTF8;
执行元数据库初始化命令：
cd /export/server/hive
bin/schematool -initSchema -dbType mysql -verbos
# 初始化成功后，会在MySQL的hive库中新建74张元数据管理的表。

 

7、启动Hive（使用Hadoop用户）

确保Hive文件夹所属为hadoop用户
创建一个hive的日志文件夹： 
mkdir /export/server/hive/logs
启动元数据管理服务（必须启动，否则无法工作）
前台启动：bin/hive --service metastore 
后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
启动客户端，二选一（当前先选择Hive Shell方式）
Hive Shell方式（可以直接写SQL）： bin/hive
Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： bin/hive --service hiveserver2