Hive数据仓库操作

Hive数据库安装的三种方式

内嵌模式安装

内嵌derby数据库：一个会话连接，常用于简单测试

1. 启动hadoop集群

   start-dfs.sh
   start-yarn.sh
   jps

    

2. 查找hive压缩包

   find / -name *hive*.tar.gz

    

3. 解压hive压缩包到/opt目录下

   tar -zxvf /root/experiment/file/apache-hive-2.1.1-bin.tar.gz -C /opt/
   # 查看是否解压成功
   ls /opt/
   # 重命名apache-hive-2.1.1-bin为hive
   mv apache-hive-2.1.1-bin hive
   # 查看是否重命名成功
   ls /opt/

4. 在profile中配置hive环境变量

   vi /etc/profile
   # 在HADOOP环境变量下方添加HIVE环境变量
   export HIVE_HOME=/opt/hive
   export PATH=$HIVE_HOME/bin:$PATH
   # 使profile文件配置生效
   source /etc/profile
   # 查看所有环境变量，是否有/opt/hive/bin
   echo $PATH

    

5. 初始化Hive元数据

   schematool -dbType derby -initSchema
   # 查看数据库文件
   ls

    

   初始化结束后会生成derby.log 和 metastore_db目录（存储derby数据库，保存元数据），数据存放在hdfs上

6. 进入Hive Shell

   hive

    

7. Hive Shell操作

   # 显示数据库
   show databases;
   # 显示表
   show tables;
   # 显示函数
   show functions;
   # 查看HDFS
   dfs -ls -R /;
   # 退出Hive Shell
   quit;
   exit;

    

本地模式安装

1. 进入Mysql

   mysql
   # 创建数据库
   create database hive;
   # 查看是否创建成功
   show databases;

    

2. Mysql授权

   grant all privileges on *.* to 'root'@'master' identified by 'root';
   grant all privileges on *.* to 'root'@'%' identified by 'root';
   # 刷新系统权限相关表
   flush privileges;
   # 查看权限
   show databases;
   use mysql;
   show tables;
   desc user;
   select Host,User,Super_priv from user;
   # 退出Mysql
   quit();

    

3. 拷贝Hive需要的mysql依赖包mysql-connector-java-5.1.42.jar 至hive/lib目录下

   # 查找jar包的位置
   find / -name mysql*.jar
   # 拷贝jar包
   cp /root/experiment/file/mysql-connector-java-5.1.42.jar /opt/hive/lib
   # 查看/opt/hive/lib目录是否有
   ls /opt/hive/lib

    

4. 进入hive的conf目录下，配置hive相关配置文件参数

   cd /opt/hive/conf
   # 查看conf目录下内容
   ls

    

   • hive-site.xml

     cp hive-default.xml.template hive-site.xml
     # 查看是否生成hive-site.xml
     ls
     # 配置hive-site.xml文件
     vi hive-site.xml
     # 查找ConnectionURL
     :?ConnectionURL
     # 显示行号
     :set nu
     # 删除无关内容
     :18,498d
     :21,25d
     :22,4862d
     # 取消显示行号
     :set nonu

     配置文件

     <configuration>
         <property>
             <name>javax.jdo.option.ConnectionURL</name>
             <value>jdbc:mysql://master:3306/hive</value>
         </property>
         <property>
             <name>javax.jdo.option.ConnectionDriverName</name>
             <value>com.mysql.jdbc.Driver</value>
         </property>
         <property>
             <name>javax.jdo.option.ConnectionUserName</name>
             <value>root</value>
         </property>
         <property>
             <name>javax.jdo.option.ConnectionPassword</name>
             <value>root</value>
         </property>
     </configuration>

      

5. 初始化数据库

   schematool -dbType mysql -initSchema
   hive
   show tables;
   show functions;

    

6. 操作Hive

   在Mysql中查看TBLS表来查看Hive是否建表 Hive中创建的表的字段信息会自动存入到MySQL的hive数据库COLUMNS_V2表中

远程模式安装

Hive Shell操作表和数据

1. 上传数据到集群上

2. 创建表

   create table stu_info(
   id int,
   name string,
   age int) row format delimited
   fields terminated by '\\\\t';
   # 指定数据库位置，目录会自动建立
   create table stu_info(
   id int,
   name string,
   age int) location '/pcc/stu_info';
   # 将另一个表的数据给一个新表
   create table stu_info row format delimited
   fields terminated by ',' AS select * from stu_info;
   # 建立分区表
   create table stu_info_0 (id int, name string) partitioned by(age int)
   row format delimited fields terminated by ',';

    

3. 导入数据

   # 导入集群文件
   load data inpath '/pcc/file' overwrite into table stu_info;
   # 导入本地文件
   load data local inpath '/home/file' overwrite into table stu_info;
   # 向分区中导入数据
   insert overwrite table stu_info_0 patition(age=22)
   select id, name from stu_info where age=22;

    

4. 导出数据

   create table t1 as select * from stu_info where gender = 'male';