hive
一、 hive流程 hive与hdfs 和 yarn、mr 交互 动态
First : hive从 hdfs中拉取数据 （ .txt文件）
Second : hive 与 SQL 交互。。。即 获取 模板信息
※ ： 模板信息 三个映射
A 表 与 文件
B 字段 与 文件内容
C 分割符 delimited
Third : hive 将sql语句 转换成 mr任务
Fourth : mr 由 yarn 分配资源 ， 运行结果数据
二、 hive 基本架构
1、 Hive中包含 Web UI ,,, Console UI ,,, Thrift Server ,,, Driver ,,, Metastore…………….
2、 元数据 存储在 ： 数据库derby 和 metastore
3、 Compiler 编译 ： 将sql 编译为job任务
4、 Optimizer 优化 ： 优化job任务 即计算aa.txt 文件
分布式缓存 -----》 将mr任务所需要的数据 在mr启动之前拉取过来 。
减少io消耗 /// 节约时间
5、 Executor 执行 ： 将 mr job任务 分发给hadoop集群
※、编译器
1、 定义 ： 编译器将一个 Hive Query Language 转换操作符（sql语句）
2、 操作符 是hive 最小的处理单元
3、 每个操作符代表 HDFS的一个操作
一道 MapReduce 作业
4、 hive定义一个处理过程为 Operator 作业
5、 9个，，，，，hive通过ExecMapper和ExceReduce执行MapReduce任务
|
操作符 |
描述 |
|
TableScanOperator |
扫描全表数据 |
|
ReduceSinkOperator《Sink 下沉/写，，，》 |
将<K,V>发送到reduce端 |
|
JoinOperator |
Join联合两份数据 |
|
SelectOperator |
选择输出列 |
|
FileSinkOperator |
将结果数据发送到结果 |
|
GroupByOperator |
分组作业 |
|
MapJoinOperator |
Map端联合 |
|
LimitOperator |
Limit语句 |
|
UnionOperator |
Union语句 |
三、 Hive数据类型
1、 基本数据类型 9个
TinyInt : 对错《0，1》。。。。男女《0，1》 一个字节
SmalInt : 年龄 《10，20，30，，，，，，》 两个字节
Int :
BigInt : long
Float :
Double :
Boolean :
String :
TimeStamp : 时间戳 《map运行0%~100% 记录一下，，，reduce 运行0%~100% 记录一下，，，可以得出某一任务运行时间》
2、 复合数据类型 3个
Struct :
Map :
Array ；
四、hadoop中安装 mysql
1、 derby.log 和 metastore_db 记录当前路径的元数据。。。如果改变路径（启动hive）,,,,元数据丢失
可以将元数据记录在mysql 中，，，mysql相当于 各个路径 公有化，，即元数据属于全局
※ ： 元数据 : 数据库/表结构，，
※ ： mysql安装 ： 与hive 配置在不同机器上
※ ： 搭建hive 环境 ： A >>> tar -zxvf apache-hive-1.2.0-bin.tar.gz
B >>> vim /etc/profile export HIVE_HOME=/root/Downloads/apache-hive-1.2.0-bin
export PATH=$PATH:$HIVE_HOME/bin
C >>> vim /root/Downloads/hadoop-2.6.5/etc/hadoop hadoop-env.sh
export HADOOP_USER_CLASSPATH_FIRST=true
D >>> hive 运行
2、 安装mysql相关命令：
查看是否安装 ： rpm –qa | grep (-i) mysql
删除 ： rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
安装服务端 ： rpm -ivh MySQL-server-5.5.47-1.linux2.6.x86_64.rpm
安装客户端 ： rpm -ivh MySQL-client-5.5.47-1.linux2.6.x86_64.rpm
启动mysql : service mysql start
设置密码 ： /usr/bin/mysql_secure_installation <一个n ，四个Y>
进入mysql ： myslq -uroot -p123456s
3、 设置远程访问mysql
1) Mysql安装 服务端 与hive 运行最好不再同一台机器上。。。每台机器上都需安装客户端
2) 服务端的进入mysql后，，，，/ show databases ;
/ use mysql ;
/ select * from user ;
/delete from user where host!=’localhost’;
/ update user set host=’%’ where host=’localhost’
/ grant all privileges on *.* to root@’%’ identifiend by ‘123465’;
/ flush privileges ;
3) 其他机器 安装 mysql 的 客户端。。。 远程访问mysql ： mysql –uroot –p123456 –h服务端机器ip
4、建库建表建hdfs文件 hive中创库或建表时hdfs 中会自动生成对应的文件，在 usr/hive/warehouse/下
1) 目录 /root/Downloads/apache-hive-1.2.0-bin/conf 下
vim hive-site.xml
<configuration>
<!-- 1、连接mysql -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://Mysql服务端ip地址:3306/数据库名（hive）?characterEncoding=UTF-8</value>
</property>
<!--2、连接jdbc -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!--3、root访问 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- 4、访问密码 -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
2) 添加jar包
目录 /root/Downloads/apache-hive-1.2.0-bin/lib 下 mysql-connector-java-5.1.32.jar
※ ： mysql中只做查看命令。查看元数据。。在hive中 运行增删改命令
3）先在mysql中创建库 hive ：。。。 然后 在启动hive。。。《hive必须知道元数据放在哪，所以得先启动mysql》
4) 在mysql中 use hive; show tables; ::: select * from 表; 查看元数据信息<库或表的信息>
a) DBS ：所有数据库的信息 《库对应hdfs文件路径，库名，创建时间等》
b) TBLS ： 所有表的信息 《》
c) SDS ： 表对应的hdfs文件路径，，，改变路径可 自动映射 加载数据
d) Partitions : 分区
e) Bucketing_cols ： 分桶
5) desc tablename /// show create table tablename ::: 查看表结构
A ) Row Format Serde : 行 格式化切分符的类 lazySimpleSerDe
B ) Store As InputFormat : map输入类 TextInputFormat
C ) OutPutFormat : hive 输出类，输出给map HiveIgnoreKeyTextOutPutFormat
D ) Location ： 本地位置
6) 改变表中数据 ：
hive 与 hdfs 长连接，即一直连接着，所以处理速度很快
insert 添加数据
load data (local) inpath ‘文件位置’ into table 表名； 加载本地文件
update 修改数据
delete 删除数据
※ ： 建表时自定义分割符 ： create table 名（字段 类型， ， ） row format delimited fields terminated by ‘ ’;
※ ： load 加载本地数据：
## load data local inpath ……… ：：： 表示 加载本地文件
## Load data inpath ………. ：：： 表示 加载上传到集群的文件
## ………’文件路径’ into table….：：： 表示 在原表数据后添加，。。。。 即 追加。。。
## ………’文件路径 ’ overwrite into ….：：： 表示 先清空原表数据，再添加。。。。即 覆盖
※ 本地文件上传集群，，是剪切，，即文件位置改变
7) 表 包括内部表和外部表
内部表 ； 数据由hive自身管理，managed_table 删除表时hdfs中对应文件也消失 。。 默认就是内部表
外部表 ： 数据由hdfs管理，external_table 删除表时hdfs中对应文件不会消失 。。create external table 名( )；
SqlYoung 工具 可以通过ip连接虚拟机的 mysql ，，，
use hive ； select * from SDS ; ….. 改变表所对应的路径 可将文件夹数据映射到表中。。。
8) DDL ： 数据定义语言。。。。对表结构的处理
## 改表名 ： alter table 名 rename to 新名 ；
## 修改字段 ： alter table 名 change column 字段名 新字段名 数据类型 ；
## 添加字段 ： alter table 名 add columns （字段名 数据类型） ；
## 删除字段 ： alter table 名 replace columns (最终显示的所有字段) ；
9) DQL/DML ： 数据查询/操作语言。。。。对表中数据的操作
## group by : 分组-----》造成数据倾斜，各组数据大小不一致 运行时间不一致
A) 打散 ：set hive.groupby.skewindata=true;
B) 聚合 ： set hive.mapred.aggr=true;
C) 组间数据之差在十万之间 ： set hive.groupby.mapaggr.checkinterval=100000;
计算机自身会自动进行优化，100000条数据 不会产生数据倾斜
D) 需要聚合的数据 / 总数据=0.5 <阀值>: set hive.map.aggr.hash.min.reduction=0.5;
E) 分组之后用 having 过滤
## order by 排序 limit 分页 ：
A) mr中的二次排序 不是全局排序
B) order by 是全局排序
C) 全局排序 要求数据不大于128M order by 与 limit 联用
设置严格模式 set hive.mapred.mode=strict;
## sort by 局部排序
distribute by 把每个列的数据分给不同的reduce
设置reduce 数量 set mapreduce.job.reduces=3;
## cluster by 按照一个字段分发，且只能按照这个字段排序
## union 联合两表 自动去重
union all 联合两表，不去重
## distinct 去重
## 表关联 ：
A) 内连接 ： inner join /// where /// join
B) 外连接 ： left (outer ) join /// right (outer) join
C) 全连接 ： full join
D) left semi join : 以一个表为基准表 能够避免笛卡儿积出现 提高运行效率 内部优化
E) map join ： 标志是 将小文件加载到内存中 内部优化
1） Select /*+MAPJOIN(小表)*/* from 表1 a join 表2 b on a.no=b.no;
2） 设置自动转化 set hive.auto.convert.join=true;
设置文件大小(小于25M) set hive.mapjoin.smalltable.filesize=25000000;
Select * from 表1 a join 表2 b on a.no=b.no;
## 分区
A) 将表划分为多个区域 。。。。使得查询速度更快 更便捷
分区的条件将在hdfs中生成一个文件夹
………….partitioned by(a int ,b int ,c int) ……… ：：：a文件夹包含b文件夹包含c文件夹
/usr/hive/warehouse/库名/表名/a/b/c/数据 ：：：/user/hive/warehouse/hello.db/part/ year=2018/month=3/day=2/..
设置非严格模式 set hive.mapred.mode=unstrict;
B) 单条件分区
create table part(id int,temp int,hour int) partitioned by (day int ) row format delimited fields terminated by ‘ ‘;
load data local inpath ‘/hadoop/part.txt’ into table part partition(day=10);
C) 多条件分区
create table part(id int,temp int,hour int) partitioned by (day int,month int) row format delimited fields terminated by ‘ ’；
load data local inpath ‘/hadoop/part.txt’ into table part partition(day=10,month=10);
D)动态分区
开启动态分区 ： set hive.exec.dynamic.partition=true;
需要一个基本表 存放所有数据 format。。。另一个表 实现动态分区 不需要format
create table basic(id int,temp int,hour int,day int,month int) row format delimited fields terminated by ‘ ‘ ;
load data local inpath ‘/hadoop/basic.txt’ into tbale basic ;
create table part (id int,temp int,hour int) partitioned by(day int,month int);
insert into part partition (day,month) select id,temp,hour,day,month from basic;
E) 混合分区
两个条件，，，一个固定 一个随机
## 分桶 避免笛卡儿积的出现，提高运行效率
A) 先分区 ，再每个区里再分桶，，，根据id的hash值，，，id % 3……..
每个区文件夹里 包含 多个分桶后的 文件
分桶的数量和reduce端的数量一致
设置非严格模式 set hive.exec.dynamic.partition.mode=unstrict;
开启动态分区 ： set hive.exec.dynamic.partition=true;
设置分桶 ：set hive.enforce.bucketing=true;
create table basic (id int,name String , sex int) row format delimited fields terminated by ‘ ‘;
load data local inpath ‘/hadoop/basic.txt’ into table basic
create table buck (id int,name String ) partitioned by (sex int) clustered by (id) into 3<分桶数量> buckets;
insert into buck partition(sex) select id,name,sex from basic;
B) 未分区，，直接分桶
设置分桶 ：set hive.enforce.bucketing=true;
create table basic (id int,name String , sex int) row format delimited fields terminated by ‘ ‘;
load data local inpath ‘/hadoop/basic.txt’ into table basic
create table buck (id int,name String ,sex int) cluster by (id) into 3 buckets;
insert into buck select id,name,sex from basic;
※ : hive中查看 dfs 文件
hive > dfs –text path;
hive> dfs –cat path/000000_0;
## 索引
A) 作用 ： 快速查找数据 /// 减轻namenode压力
B) 将hdfs中的路径 抽离 到hive本地保存，保存再hive中的一个表中，hive对元数据进行封装，然后再
由namenode 记录；；；<namenode还是记录元数据，只是hive进行封装 减少文件数量 减轻其压力>
索引文件，封装元数据路径，记录元数据的位置信息，可以有多个文件
u ： 索引文件是有序的
C) 步骤 ： create index 索引名 on table 表名(字段id) 指明索引名称、表、描述种类
as “org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler” 一个工具类，生成一个文件/表记录相关位置，可以将文件排序;
win deferred rebuild ; 先规划一个索引，不创建。。。
show index on 表名;
索引名 表名 表中字段（索引条件字段） 存放位置信息的表名 类
one basic id hello__basic_one__ compact
alter index 索引名 on 表名 rebuild ; 真正创建索引
得到一个表 ：：：Loading data to table hello.hello__basic_one__
Select * from hello.hello__basic_one__; 查看表中 元数据位置信息
Id(索引字段) 元数据位置信息 偏移量
1 hdfs://Linux01:9000/user/hive/warehouse/hello.db/basic/basic.txt [0]
2 hdfs://Linux01:9000/user/hive/warehouse/hello.db/basic/basic.txt [16]
3 hdfs://Linux01:9000/user/hive/warehouse/hello.db/basic/basic.txt [32]
4 hdfs://Linux01:9000/user/hive/warehouse/hello.db/basic/basic.txt [48]
5 hdfs://Linux01:9000/user/hive/warehouse/hello.db/basic/basic.txt [64]
## 复杂数据类型
A) Struct : K-v 对 ，，，，，Key固定
指定字段之间分割符 指定 struct 中数据的分割符
create table str(id int ,name String ,hobby struct<a:String,b:String,c:String>)
row format delimited fields terminated by ‘ ‘
collection items terminated by ‘,’;
B) Map : 指定字段之间分割符 指定map中数据的分割符 指定map key和value的分割符
create table arr_table (id int , name String , hobby map<String,String>)
row format delimited fields terminated by ‘ ‘
collection items terminated by ‘,’
map keys terminated by ‘:’;
C) Array : 指定字段分割符 指定array中数据之间分割符
create table arr_table (id int , name String , star Array<String>)
row format delimited fields terminated by ‘ ‘
collection items terminated by ‘,’;
## hive中的join
A) 一个查询结果 ，有字段有数据 ，可以做为一个表，，，从里面读取数据 并进行筛选
B) select * from (select col1 from tablename group by col2)tableAlisa where col1=值；
C) 求每个部门名称 和 对应的平均工资
select t1.depnum,t2.avg from dept t1
join (select avg(salary) avg,deptno from emp group by deptno )t2
on t1.deptno=t2.deptno;
D) 求谁的工资比tom高
select * from emp t1 join (select salary from emp where ename=tom)t2 on t1.depno=t2.depno;
E) 求某部门 有哪些职位
select t1.job , t2.deptnum , (select deptno from emp where deptnum=’yanfabu’)t2 where t1.deptno=t2.deptno;
## row_number() over(order by 字段)
A) 显示行号 并按某一字段排序 即有序显示行号
浙公网安备 33010602011771号