HIVE安装

前提条件:

1)已经完成HADOOP的安装。本文已安装HADOOP2.2.0。

2)已经安装好MYSQL。

 

1、下载HIVE

http://apache.fayea.com/apache-mirror/hive/stable/

下载 apache-hive-0.13.1-bin.tar.gz 。解压后,直接用,你也可下载源码。自已编译。

 

2、上传,解压

1)上传到HADOOP目录,如下图所示

 

2)解压缩,生成 /root/hadoop-2.2.0/apache-hive-0.13.1-bin

 

3、HIVE用到的目录创建

1)在HDFS上创建目录“/hive” 我的访问全地址是:hdfs://master:9000/hive

2)创建数据仓库目录 “/hive/warehouse”

3)创建日志目录 “/hive/log”

4)创建mapreduce中间结果存储位置“/hive/tmp”

使用的HDFS命令如:

hadoop fs -mkdir /hive

hadoop fs -mkdir /hive/warehouse

hadoop fs -mkdir /hive/log

hadoop fs -mkdir /hive/tmp

4、配置

1)环境变量 /etc/profile 配置

export HADOOP_HOME=/root/hadoop-2.2.0
export HIVE_HOME=/root/hadoop-2.2.0/apache-hive-0.13.1-bin
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export JRE_HOME=/usr/lib/jvm/java-7-openjdk-i386/jre
export CLASSPATH=.:$JAVA_HOME/lib:$HIVE_HOME/lib:$HADOOP_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$HIVE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

 

2)hive-env.sh 配置。要存放在“/root/hadoop-2.2.0/apache-hive-0.13.1-bin/conf”

就这两行关键的,其它的不需要。

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/root/hadoop-2.2.0

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/root/hadoop-2.2.0/apache-hive-0.13.1-bin/conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
# export HIVE_AUX_JARS_PATH=

 

3)hive-site.xml 配置 。要存放在“/root/hadoop-2.2.0/apache-hive-0.13.1-bin/conf”

<configuration>
 <property>
<!-- MySQ的URL配置 -->
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<!-- 数据库的用户名配置-->
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>
<!-- 此处JDBC的驱动务必加上,对应的数据配置对应的驱动-->
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<!-- 数据库密码配置-->
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>libin19800818</value>
</property>
<!-- HDFS路径hive表的存放位置-->
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>hdfs://master:9000/hive/warehouse</value>
</property>
<!--HDFS路径,用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果。 -->
<property>
  <name>hive.exec.scratchdir</name>
  <value>/hive/tmp</value>
</property>
<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx4096m</value> //这个内存值,你要根据你的机器进行调整,如果调的太大,会出现异常,无法运行。
</property>
<!-- 日志的记录位置-->
<property>
<name>hive.querylog.location</name>
<value>/hive/logs</value>
</property>

 

5、MYSQL配置

 

1)创建表hive

2)库授权

//192.168.78.128是我的本机IP

//master是我的机器名

 

6、启动hive

 7、测试执行

1)创建表

2)装入数据

我的数据存在HDFS上。

3)查询

posted on 2014-08-15 15:43  netskill  阅读(301)  评论(0)    收藏  举报