Hive优化
目标：①横向增加并发，②纵向较少依赖
Map的优化
-
作业会通过input的目录产生一个或者多个map任务。set dfs.block.size(=128)
-
是不是每个map处理接近文件块的大小？
-
如何合并小文件，减少map数
set mapred.max.split.size=100000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; -
如何适当的增加map数？
set mapred.map.tasks=10; -
map聚合：mapreduce里面有个combiner
hive.map.aggr=true
Reduce优化
-
调整Reduce个数
set hive.exec.reducers.bytes.per.reduce=10
set mapred.reduce.tasks=100（优先） -
MR中有几个痛点
-
什么情况会存在reduce只有1个的情况
-
没有 group by，优化添加 group by
select count(1) from tablename where pt='2012-07-04';
-- 优化后
select pt,count(1) from talename where pt='2012-07-04' group by pt; -
使用order by：对输入的数据做全局排序，优化：distribute by和sort by结合起来
-
order by：全局排序
-
sort by：不是全局排序，数据进入reduce之前做的排序
-
distribute by：控制map端如何拆分数据给reduce
-
-
笛卡儿积：join的时候用on就能避免一个reduce
join（两张表及以上）的时候不加on条件或者无效的on条件，Hive只能使用1个reduce来完成笛卡儿积
-
-
加块查询速度
-
partition
-
Map join
按照join顺序中最后一个表应该尽量是大表 ，因为join前一阶段生成的数据会存在于Reduce的buffer中，通过stream最后面的表，直接从Reduce的buffer中读取已经缓存的中间结果数据（这个中间结果数据可能时join顺序中，前面表连接的结果的key，数据量相对较小，内存开销小），这样，与后面的大表进行连接时，只需要从buffer中读取缓存的key，与大表中指定key进行连接，速度会更快，也可能避免内存缓冲区溢出。
-
通常大大表做join，依赖MR的框架的sort功能
-
通常大小表做join，依赖MR的框架的sort功能（不优化）
-- 优化
-- mapjoin会把小表的数据全部读入内存中，在map阶段直接拿另一个表的数据和内存中表数据做匹配，由于map时进行join操作，省去了reduce，运行的效率也会高很多；b小表
select /*+mapjoin(b)*/ a.key,a.value
from a
join b on a.key=b.key;
-- a表视为大表
select /*+streamtable(a)*/ a.val,b.val,c.val
from a
join b on a.key=b.key
join c on c.key=b.key;
-
-
Union all（不去重）比Union （去重）更优化
先做union all再做join或group by等操作可以有效减少MR过程，尽管是多个select，最终只有一个mr
-
Multi-insert & Multi-group by
from tablename
insert overwrite table tablename1 [partiton(partcol1=val1)]
select_statement1 group by key1
insert overwrite table tablename2 [partiton(partcol2=val2)]
select_statement2 group by key2 -
Automatic merge
当文件大小比阀值小时，hive会启动一个mr进行合并
-- 是否合并Map输出文件，默认为true
hive.merge.mapfiles=true
-- 是否合并Reduce输出文件，默认为False
hive.merge.mapredfiles=false
-- 合并文件的大小
hive.merge.size.per.task=256*1000*1000 -
Multi-Count Distinct
-- 目的负载均衡
set hive.groupby.skewindata=true;
select dt,count(distinct uniq_id),count(distinct ip)
from ods_log where dt='20170301' group by dt
-
-
join优化
-
一个MR job
select a.val,b.val,c.val
from a
join b on a.key = b.key1
join c on a.key = c.key2 -
生成多个MR job
select a.val,b.val,c.val
from a
join b on a.key = b.key1
join c on c.key = b.key2 -
表连接顺序
-
左连接时，左表中出现的join字段都保留，右表没连接上的都为空
-- 执行顺序：首先完成2表join，然后再通过where条件进行过滤，这样在join过程中可能会输出大量结果，再对这些结果进行过滤，比较耗时。
select a.val,b.val
from a
left outer join b on a.key = b.key
where a.dt='2009-07-07' and b.dt='2009-07-07'-- 优化：将where条件放再on后，在join过程中，就对不满足条件的记录进行了预先过滤
select a.val,b.val
from a
left outer join b
on (a.key = b.key and a.dt='2009-07-07' and b.dt='2009-07-07')
-
-
并行执行
-- 开启
set live.exec.parallel = true;
数据倾斜
-
操作
-
join
-
group by
-
count distinct
-
-
原因
-
key分布不均导致
-
人为设计表
-
业务数据特点
-
-
症状
-
任务进度长时间维持在99%（或者100%），查看任务监控页面，发现只有少量（1个或几个）reduce字任务未完成
-
查看未完成的子任务，可以看到本地读数据量积累非常大，通常超过10G可以认为发生数据倾斜
-
-
倾斜度
-
平均记录数超过50w且最大记录数时超过平均记录数的4倍
-
最长时长比平均时长超过4分钟，且最大时长超过平均时长的2倍
-
-
万能方法
hive,groupby.skewindata=true;
数据导出导入
-
导出到本地
insert overwrite local directory '/root/badou/hadoop/hive_test/behavior.txt'
select userId,title from test.behavior; -
导出到hdfs
insert overwrite directory '/rawdata/database/test/behavior_table'
select userId,title from test.behavior; -
本地数据导入表中
load data local inpath '/root/badou/hadoop/hive_test/2008-08'
overwrite into table test.rating_p partition(dt='2008-08'); -
hdfs数据导入表中
load data inpath '/root/badou/hadoop/hive_test/2010-08'
overwrite into table test.rating_p partition(dt='2010-08');
format
-
Hive的UDF都是通过Java语言编写的，hive提供了另外一种方式，也达到了类似的目的，但是方法更加简单transform支持多种语言
-- 添加一个shell脚本
hive> add file /root/badou/hadoop/hive_test/transform.awk;
Added resources: [/root/badou/hadoop/hive_test/transform.awk]
-- 使用transform.awk
select transform(movieid , title) using "awk -f transform.awk" from test.movie limit 10;
select transform(movieid , title) using "awk -f transform.awk" as uu from test.movie limit 10;
-- 添加一个python脚本
hive> add file /root/badou/hadoop/hive_test/transform.py;
hive> select transform(movieid , title) using "python transform.py" as uu from test.movie limit 10;
-- wordcount
hive> add file /root/badou/hadoop/hive_test/map.py;
Added resources: [/root/badou/hadoop/hive_test/map.py]
hive> add file /root/badou/hadoop/hive_test/red.py;
Added resources: [/root/badou/hadoop/hive_test/red.py]
select transform(line) using 'python map.py' as word,count from test.docs limit 10;
-- 结果
Preface 1
“The 1
Forsyte 1
Saga” 1
was 1
the 1
title 1
originally 1
destined 1
for 1
-- map和reduce
select transform(wc.word , wc.count) using 'python red.py' as w,c
from
(select transform(line) using 'python map.py' as word,count from test.docs cluster by word) as wc limit 100;
-- 结果插入到表中
insert overwrite table test.word_count
select transform(wc.word , wc.count) using 'python red.py' as w,c
from
(select transform(line) using 'python map.py' as word,count from test.docs cluster by word) as wc limit 100;
