【Hive入门】 - 实践

之前实习写的笔记，上传留个备份。

1. 使用docker-compose快速搭建Hive集群

使用docker快速配置Hive环境

• 拉取镜像

2. Hive数据类型

• 隐式转换：窄的可以向宽的转换
• 显式转换：cast

3. Hive读写文件

• SerDe:序列化（对象转为字节码）、反序列化

3.1 hive读写文件流程

• 反序列化（将文件映射为表）

  调用inputFormat，转为<key,value>类型，然后进行反序列化。

3.2 SerDe语法

0. row format 指定序列化方式和分割符

   • Delimited:默认序列化方式
   • Json:改变序列化方式

1. hive 默认分割符"\001"

4. 存储路径

• 默认存储：/usr/hive/warehouse
• 指定存储路径：location hdfs_path

5. 练习

创建表并加载数据。

use ods;
create external table hero_info_1(
id bigint
comment "ID"
,
name string comment "英雄名称"
,
hp_max bigint
comment "最大生命"
)
comment "王者荣耀信息"
row format delimited
fields
terminated
by "\t"
;

将文件上传到相应路径，只要指定好分割符就可以。

hadoop fs -put test1.txt /usr/hive/warehouse/test.db/hero_info_1

• map类型

create
table hero_info_2(
id int
comment "ID"
,
name string comment "英雄名字"
,
win_rate int
comment "胜率"
,
skin map<string,
int>
comment "皮肤：价格" -- 注意map分割类型
)
comment "英雄皮肤表"
row format delimited
fields
terminated
by "," -- 指定字段分割符
collection items terminated
by '-' -- 指定集合元素之间分割符
map keys
terminated
by ':'
;
-- 指定map元素kv之间的分割符

hadoop fs -put test2.txt /usr/hive/warehouse/test.db/hero_info_2

6. 指定路径使用

create
table t_hero_info_3(
id int
comment "ID"
,
name string comment "英雄名字"
,
win_rate int
comment "胜率"
,
skin map<string,
int>
comment "皮肤：价格" -- 注意map分割类型
)
comment "英雄皮肤表"
location "/tmp"
;
​
select *
from t_hero_info_3;

7. 内部表和外部表

• 外部表，删除不会删除hdfs文件

• 一般都用外部表

drop
table t_hero_info_3;
-- 文件也被删除

9. 分区表

• 上传多个文件

• 发现sql执行很慢，因为where需要进行全表扫描，所以效率慢

• 但是我们是根据射手类型来进行分类的，因此可以只扫描这一个分区的数据

• 分区字段不能是表中已经存在的字段

create external table t_hero_info_1(
id int
comment "ID"
,
name string comment "名字"
)
comment "英雄信息"
partitioned by (role string)
row format delimited
fields
terminated
by "\t"
;

• 静态分区

load
data
local inpath '/root/a.txt'
into
table t_hero_info_1 partition(role='sheshou'
)
;
​
​
-- 分区扫描 role是分区字段，不用全表扫描
select count(*
)
from t_hero_info_1 where role = "sheshou" and hp_max >
6000
;
​

10. 多重分区表

• 一般为双重分区表

create external table t_hero_info_1(
id int
comment "ID"
,
name string comment "名字"
)
comment "英雄信息"
partitioned by (province string, city string)
;
-- 分区字段存在顺序
​
-- 分区1
load
data
local inpath '/root/a.txt'
into
table t_hero_info_1 partition(province='beijing'
,city='chaoyang'
)
;
-- 分区2
load
data
local inpath '/root/b.txt'
into
table t_hero_info_1 partition(province='beijing'
,city='haidian'
)
;
-- 多重分区
load
data
local inpath '/root/b.txt'
into
table t_hero_info_1 partition(province='shanghai'
,city='pudong'
)
;

11. 动态分区

• 根据字段值来进行动态分区，使用insert+select
• 步骤：创建完分区表后，存在一个分区字段role，这时我们使用insert+select方法将原先表的数据插入到分区表中。

-- 原始数据表 t_all_hero
-- 分区表 t_all_hero_part
​
-- role这里是分区字段，role_main是我们给指定的分区类型
insert
into
table t_all_hero_part partition(role)
select tmp.*
, tmp.role_main from t_all_hero tmp;

• 在企业中，一般根据日期来进行分区表。
• 注意：分区的字段不能是已有的字段，即字段名字不能重复
• 分区的字段是个虚拟的字段，并不存在于底层当中

12. 分桶表

• 来进行优化查询

• 分桶是将一个文件分为若干个文件

规则

• 将文件中数据哈希，从而分到不同桶中。

• 一般是根据主键来进行分桶

• 创建一个普通的表，然后上传数据；通过inset+select来加载分桶

-- 创建分桶表
create
table test.t_state_info(
)
clustered
by(state)
into 5 buckets;
-- state一定是表中已有的字段
​
-- 插入数据
insert
into t_state_info_bucket select *
from t_state_info;

好处

0. 可以基于分桶字段来查找，不需要进行全表过滤

1. join时减少笛卡尔积数量

   窗口函数

   • over后返回的表行数不变

解析json

get_json_object:一次只能解析一个字段