6、Hive 组件安装配置

6、Hive 组件安装配置

基础环境和安装准备

Hive 组件的部署规划和软件包路径如下：

1)本地安装 MySQL 数据库（账号 root，密码 Password123$）， 软件包在/opt/software/mysql-5.7.18 路径下。

2）MySQL 端口号（3306）。

3）Hive 软件包/opt/software/apache-hive-2.0.0-bin.tar.gz。

在所有节点上执行以下步骤：
su - hadoop
jps
# 如果所有节点上都没有进程则在master上执行以下命令

start-all.sh
# 以上命令执行完后需要在master上看到NameNode、SecondaryNameNode、ResourceManager三个进程，在所有的slave节点上要看到DataNode、NodeManager进程
使用xftp上传软件包到服务器的/opt/software目录中

在master上部署mysql服务器

su - root
yum -y install unzip
unzip mysql-5.7.18.zip
cd mysql-5.7.18
yum -y install *.rpm
vi /etc/my.cnf

default-storage-engine = innodb
innodb_file_per_table
collation-server = utf8_general_ci
init-connect = 'SET NAMES utf8'
character-set-server = utf8

#跳过密码(放在开头)
[mysqld]
skip-grant-tables

# 保存成功后执行以下命令

systemctl enable --now mysqld
grep 'password' /var/log/mysqld.log
mysql_secure_installation
y
y
n
y
y

mysql -uroot -p'Password123!'

#添加 root 用户本地访问授权 
mysql> grant all on *.* to 'root'@'localhost' identified by 'Password123!';   

# 添加 root 用户远程访问授权 
mysql> grant all on *.* to 'root'@'%' identified by 'Password123!';    

# 刷新授权
mysql> flush privileges;   
mysql> quit

在slave1上执行以下命令：

yum -y install mariadb
mysql -uroot -p'Password123!' -h10.10.10.128

在master上部署hive

tar xf apache-hive-2.0.0-bin.tar.gz -C /usr/local/src/
cd /usr/local/src/
mv apache-hive-2.0.0-bin hive
chown -R hadoop.hadoop /usr/local/src
vi /etc/profile.d/hive.sh

export HIVE_HOME=/usr/local/src/hive
export PATH=${HIVE_HOME}/bin:$PATH
# 保存以上配置后执行以下命令

source /etc/profile.d/hive.sh
echo $PATH
su - hadoop
cd /usr/local/src/hive/conf/
cp hive-default.xml.template hive-site.xml
vi hive-site.xml

#1）设置 MySQL 数据库连接。
#（找到位置覆盖）
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;us
eSSL=false</value>
<description>JDBC connect string for a JDBC metastore</description> 

#2）配置 MySQL 数据库 root 的密码。
#（找到位置覆盖）
 <property> 
<name>javax.jdo.option.ConnectionPassword</name>
 <value>Password123!</value>
 <description>password to use against s database</description> 
</property>

#3）验证元数据存储版本一致性。若默认 false，则不用修改。
#（找到位置覆盖）
 <property> 
<name>hive.metastore.schema.verification</name> 
<value>false</value>
</property> 

#4）配置数据库驱动。 
#（找到位置覆盖）
<property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 <description>Driver class name for a JDBC metastore</description>
 </property> 

#5）配置数据库用户名 javax.jdo.option.ConnectionUserName 为 root。 
<property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
 <description>Username to use against metastore database</description>
</property>

#6 ）将以下位置的${system:java.io.tmpdir}/${system:user.name} 替换为“/usr/local/src/hive/tmp”目录及其子目录。 
# 需要替换以下 4 处配置内容：   
<name>hive.querylog.location</name>    
<value>/usr/local/src/hive/tmp</value>   
<description>Location of Hive run time structured log file</description> 
 
<name>hive.exec.local.scratchdir</name>     
<value>/usr/local/src/hive/tmp</value> 
 
<name>hive.downloaded.resources.dir</name>    
 <value>/usr/local/src/hive/tmp/resources</value> 
 
<name>hive.server2.logging.operation.log.location</name>     
<value>/usr/local/src/hive/tmp/operation_logs</value> 
#保存后退出

mkdir -p /usr/local/src/hive/tmp/{resources,operation_logs}
cp mysql-connector-java-5.1.46.jar /usr/local/src/hive/lib/
su - hadoop
stop-all.sh

# 停掉后在所有节点上执行jps命令，确保所有节点上没有进程，然后执行以下命令
start-all.sh

# 执行以上命令后需要在master上看到NameNode、SecondaryNameNode、ResourceManager三个进程，在所有的slave节点上要看到DataNode、NodeManager进程，然后master执行以下命令
schematool -initSchema -dbType mysql
# 如果看到schemaTool completed则表示初始化成功，此时可以连接到数据库中查看是否有hive仓库

 mysql -uroot -p'Password123!' -e 'show databases;'
hive
# 执行完后看到hive>则表示成功部署