hive安装

一、hive简介

　　hive是基于Hadoop的一个数据仓库工具（所以在安装hive之前你需要将hadoop安装完成），可以将结构化的数据文件映射为一张数据库表，并提供类SQL的查询功能。其基本原理是将HQL语句自动转化为MapReduce任务；其数据存储依赖于HDFS，查询操作依赖于MapReduce。

二、安装

　　hive三种安装模式，分别为内嵌模式、本地模式、远程模式。

　　内嵌模式：元数据保存在内嵌的derby数据库中，允许一个会话链接，尝试多个会话链接时会报错，hive服务、metastore服务、derby服务都运行在同一个进程中

　　本地模式：将hive的元数据保存到mysql数据库中，hive服务、metastore服务在同一个进程中，mysql服务是单独的进程。在hive-site.xml中的ConnectionURL指定mysql，并配置驱动和数据连接

　　远程模式：hive服务和metastore服务在不同的进程内

　　下载路径：http://hive.apache.org/downloads.html

　　2.1、内嵌模式

　　　　将下载好的hive文件上传到linux服务中 ，解压 tar -zvxf apache-hive-2.1.1-bin.tar.gz 

　　　　配置环境变量/etc/profile

　　　　export HIVE_HOME=/opt/cytools/apache-hive-2.1.1-bin

　　　　export PATH=$PATH:$HIVE_HOME/bin

　　　　注：记得source /etc/profile 使得配置文件生效

　　　　执行 schematool -initSchema -dbType derby 

　　　　在运行 hive 进行到CLI界面

　　　　到此，内嵌模式就已安装成功

　　　　如果出现错误

　　　　

 

　　　　清空当前目录再执行 schematool -initSchema -dbType derby 

 

　　2.2、本地模式

　　　　在内嵌模式的基础我们需要更改元数据的存储位置到mysql数据库中，所以需要先安装mysql（这里就不描述了哈）

　　　　找到hive的安装目录conf文件下的hive-default.xml.template改为hive-site.xml文件（可以删除里面注释掉的内容）增加mysql配置

　　　　

　　　　　　<?xml version="1.0" encoding="UTF-8" standalone="no"?>

　　　　　　<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

　　　　　　<configuration>

  　　　　　　　　<property> 

        　　　　　　　　<name>javax.jdo.option.ConnectionURL</name> 

        　　　　　　　　<value>jdbc:mysql://111:112:113:114:3306/hive_class?createDatabaseIfNotExist=true</value> 

    　　　　　　　</property> 

    　　　　　　　<property> 

       　　　　　　　 <name>javax.jdo.option.ConnectionDriverName</name> 

        　　　　　　　<value>com.mysql.jdbc.Driver</value> 

    　　　　　　　</property> 

    　　　　　　　<property> 

        　　　　　　　<name>javax.jdo.option.ConnectionUserName</name> 

       　　　　　　　 <value>username</value> 

    　　　　　　　</property> 

    　　　　　　　<property> 

        　　　　　　　　<name>javax.jdo.option.ConnectionPassword</name> 

       　　　　　　　　 <value>password</value> 

    　　　　　　　</property> 

    　　　　　　　<property>   

          　　　　　　　<name>hive.metastore.schema.verification</name>   

          　　　　　　　<value>false</value>   

      　　　　　　 </property>  

　　　　　　</configuration>

 

　　　　在mysql的包加入到lib目录下，就是这个文件

 

　　　　初始化数据库： schematool -initSchema -dbType mysql

　　　　好了，你就可以使用hive进入到CLI界面了

　　2.3、远程模式

　　　　搭建好本地模式

　　　　在服务端开启metastore服务：hive --service metastore

　　　　在客户端hive-site.xml文件中配置

　　　　<property>

　　　　　　<name>hive.metastore.uris</name>

　　　　　　<value>thrift://keduox01:9083</value>

　　　　</property>

 

学习记录