hive的简单使用

一、一些说明

1.支持的操作
hive 默认不支持updata 和 delete操作 insert也是执行缓慢，主要用于数据的计算
hive 数据类型---字符串，大部分与java一致。

2.内外表的区别
内部表：完全交给hive管理，数据会存储在hive所在路径，删除时删掉源文件。
外部表：增加hive管理的表，创表时记录数据所在路径，不移动数据，删除时不删除源文件，只删除路径链接。

 

二、简单的命令

show databases;                                                              显示数据库
create database dbName;                                                　　　 创建数据库
drop database [IF EXISTS] dbName [cascade]                     　　　　　　　　有则强制删除
use {databaseName};                                                    　　  使用某一数据库

desc tabName                                                                 　查看表结构
show tables;                                                                   查看当前库下的表
show tables [like '*'] [in dbName]                                    　　　　　查看某库某些表
create table tabName{columnName columnType,...}           　　　　　　　　建（内部）表（需指定分隔符）
create external table tabName {同上}                                　　 建（外部）表
location 'hdfs.path';                                                       指定外部表源数据路径
row format delimited fields terminated by '*';                  　　　　　　　 直接写在创表语句末尾。
lines terminated by '\n';　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　航分隔符默认"\n",暂时也只支持这一个
map keys terminated by 

alter table tabName RENAME TO newName；                     　　　　　　    重命名表名
alter table tabName ADD COLUMNS (N T);                        　　　　　  　向已有表中添加列
insert into tabName（columnName）values（data）；         　　　　　　　　　 　向表中添加数据 
drop table tbname;                                                         删除表结构及数据


HIVE的数据导入的两种范式：
从linux上导入                   
load data local inpath 'linux根目录下写' into table dbName.tabName;
从HDFS的某一目录导入
load data inpath 'hdfs根目录下开始写' into table dbName.tabName; 
--------------------------------- --->此方式上传会删除源文件，相当于将数据剪切


hadoop job  -kill {job_id}  结束失败job的命令                            

 三、HIVE的JDBC

　　

　　　　　//1.加载驱动
        Class.forName("org.apache.hive.jdbc.HiveDriver");
        //2.打开连接
        Connection conn = DriverManager.getConnection("jdbc:hive2://sz01:10010/test");
        //mysql连接仅此处不同，三个参数
        //jdbc--->(url  = jdbc:mysql://IP:3306/dbName, u,p)
        //3.获得操作会话对象
        Statement statement = conn.createStatement();
        //4.操作hive
        String sql = "select * from test1 ";
        //5.接受结果
        ResultSet rSet = statement.executeQuery(sql);
        while (rSet.next()) {
            System.out.println(rSet.getInt(1)+"\t"+rSet.getString(2));
        }
        //6.关闭连接
        rSet.close();
        statement.close();
        conn.close();        

 四、常用的建表语句　

1. 直接建表法：　　create table table_name(col_name data_type);
2. 查询建表法：       create table table-name as （查询sql）------------------------->有数据，会执行MR过程
3. like建表： 　　    create table t2 like t1;------------------------------------------------>无数据，不执行MR过程

 　　创建时一般需指定表的结构等信息　　

row format delimited
fields terminated by ','　　　　　　　　　　　　　　列分隔符，行分隔符默认为"\n",一般不配置
collection items terminated by '-'　　　　　　　　
map keys terminated by ':'
location '/user/t2'　　　　　　　　　　　　　　　　　数据文件的位置（linux系统上的）----外部表
stored as textfile；　　　　　　　　　　　　　　　　数据格式默认为文本类型

存储格式	存储方式	特点
TextFile	行存储	存储空间消耗比较大，并且压缩的text 无法分割和合并 查询的效率最低,可以直接存储，加载数据的速度最高
SequenceFile	行存储	存储空间消耗最大,压缩的文件可以分割和合并 查询效率高，需要通过text文件转化来加载
RCFile	数据按行分块 每块按照列存储	存储空间最小， 查询的效率最高 ， 需要通过text文件转化来加载， 加载的速度最低。 压缩快 快速列存取。 读记录尽量涉及到的block最少  读取需要的列只需要读取每个row group 的头部定义。  读取全量数据的操作 性能可能比sequencefile没有明显的优势
ORCFile	数据按行分块 每块按照列存储	压缩快,快速列存取 ,效率比rcfile高,是rcfile的改良版本
Parquet	列存储	相对于PRC，Parquet压缩比较低，查询效率较低，不支持update、insert和ACID.但是Parquet支持Impala查询引擎

五、保存hive表查询结果的方法
　　1.保存到hdfs    在hdfs上运行
　　　　hive -e "sql"  >> /output/out.txt       一定要双引号
　　　　hive -f hive.sql > /output/out.txt　　
　
　　2.保存到hdfs上  hive中执行
　　　　insert overwrite dirctory  /output/a.txt  sql
　　　　不支持 insert into 导出

　　3.保存到linux上
　　　　insert overwrite local directory  /tmp/a.txt   sql   

　　4.保存到hive表上　　　　
　　　　insert into table tName SQL                追加导入
　　　　insert overwrite table tName SQL        　　覆盖导入
　　　　
　　5.创表保存数据
　　　　create table tName as sql