Hive参数调优：如何控制map和reduce个数与参数调优（合并小文件和拆分大文件）

reduce的个数一般最后决定了输出文件的个数，如果想多输出文件的个数（这样文件变小，但有可能程序变慢），那么可以人为增加reduce个数。如果想减少文件个数，也可以手动较少reduce个数(同样可能程序变慢）。但实际开发中，reduce的个数一般通过程序自动推定，而不人为干涉，因为人为控制的话，如果使用不当很容易造成结果不准确，且降低执行效率。

1.控制reduce个数的方式与参数

1.1.首先可以通过参数直接控制最终reduce的个数，使用参数mapred.reduce.tasks

#官方默认-1，可根据数据量实际大小进行设置，一般情况下根据数据量大小设置这个参数可以使程序执行更快
set mapred.reduce.tasks=-1;

1.2.在hive中如果不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定

1.set hive.exec.reducers.bytes.per.reducer=300000000    300Mb
 注意：在hive 0.14.0之前默认hive.exec.reducers.bytes.per.reducer默认值是1Gb，每个reduce最多处理1Gb。

但是在之后版本默认值都是256Mb.这里我们用的是300Mb。

为什么300Mb写的是300*1000*1000?因为网络传输中用的1000，而不是1024机制。

2.set hive.exec.reducers.max=1009    --默认值，这个值一般不会修改。

 注意，在hive 0.14.0之前默认是999，之后是1009,所以我们公司的也是官方默认值。
 
3.reduce计算方式：计算reducer数的公式很简单

Num=min(hive.exec.reducers.max2，map输出数据量/hive.exec.reducers.bytes.per.reducer)
 

2.通过hive.exec.reducers.bytes.per.reducer控制reduce个数

准备文件大表的大小为23.4G,存储为22个文件，平均每个文件大小都在1.1G左右。小表的文件2个，合计58Mb.

2.1通过hive.exec.reducers.bytes.per.reducer控制reduce个数

使用系统默认的配置参数，系统自动计算reduce个数，这里需要85个reduce。85*300>23.4G。程序运行时间为123S.

set mapred.max.split.size=256000000  ;
set mapred.min.split.size=10000000 ; 
set hive.exec.reducers.bytes.per.reducer = 300000000; 
 

2.2增大hive.exec.reducers.bytes.per.reducer = 1000000000; 发现需要的reduce变成了26个，减少了一大半。且满足26*1Gb>23.4G。但程序运行时间增加将近一半237s.

 
set mapred.max.split.size=256000000;
set mapred.min.split.size=10000000; 
set hive.exec.reducers.bytes.per.reducer = 1000000000;
 
Hadoop job information for Stage-1: number of mappers: 112; number of reducers: 26
Time taken: 237.104 seconds

2.3降低hive.exec.reducers.bytes.per.reducer = 128000000; 发现需要的reduce变成了，增加到197个。执行时间为141s.

set mapred.max.split.size=256000000;
set mapred.min.split.size=10000000; 
set hive.exec.reducers.bytes.per.reducer = 128000000;
Hadoop job information for Stage-1: number of mappers: 112; number of reducers: 197
Time taken: 141.371 seconds

3.通过mapred.reduce.tasks直接设置reduce个数

如下，手动设置reduce的个数为100个，则reduce的个数就是100个，每个reduce处理的数据按总数据量 /100.

set mapred.max.split.size=256000000;
set mapred.min.split.size=10000000; 
set mapred.reduce.tasks=100;
 
Hadoop job information for Stage-1: number of mappers: 112; number of reducers: 100

总结：

同map函数一样，启动和初始化reduce也会消耗时间和资源。所以reduce的个数不宜过多，且reduce的个数决定了最终输出文件的个数，如果reduce个数过多则会产生很多小文件，对于以后的计算也会降低效率。

当然reduce个数如果过少，也会造成单个reduce处理数据量太大也会影响程序的效率。所以一般reduce的个数最好让程序自己去推定与计算。

那么什么时候可以进行手动设定reduce数量呢？比如系统自动计算的reduce个数，因为集群资源不足，造成程序运行出现OOM(内存溢出不足)时，可以根据推定的reduce个数手动增加数量，保证程序在跑的慢的基础上可以完整运行。

4.reduce的特殊情况，程序只有一个reduce

一般map输出的结果值小于hive.exec.reducers.bytes.per.reducer值时，程序只有一个reduce没有问题，其次手动设置mapred.reduce.tasks=1,这个时候程序只有一个reduce。

那么正常除了这两种情况下，正常程序还有什么情况下只有 一个reduce呢？

1.代码用了order by ,因为order by是全局排序
order by 全局排序针对所有的数据，所以最终所有的数据都要分发给一个reduce去处理。比如这里23.4G文件使用order by，系统 启动了两个MR程序执行。最终使用一个reduce进行排序，极度慢,慎用。

2.表关联时出现了笛卡尔乘积

 表之间进行join时，如果出现 了笛卡尔乘积，需要全局处理，所以MR不得不使用 一个reduce去处理，所以要尽量避免出现这种 情况。

实测使用样例

原始文件3G

#设置生成最终文件为500M左右
set hive.merge.mapredfiles=true;
set hive.merge.rcfile.block.level=true;
#tez任务结束时合并小文件
set hive.merge.tezfiles=true; 
#当输出文件平均大小小于该值时。启用独立的TEZ任务进行文件合并
set hive.merge.smallfiles.avgsize=500000000; 500MB
#合并文件大小128M
set hive.merge.size.per.task=500000000;  500MB


上述参数会生成6个500M左右大小我文件，因为3000/500，下边那两个合并小文件参数不生效，因为生成单个文件大于设置值，如果生成文件小于设置值则文件合并，文件个数小于6


在insert overwrite table xxx  select **** from a left join b有关联计算的情况下生成的文件大小可能和设置的参数文件大小有差异，

可以优化为  
create temporary table xxx_tmp as select **** from a left join b;
insert overwrite table xxx PARTITION (dt=${v_date}) select ***** from xxx_tmp ;

参数设置越小 map个数越多
set mapred.max.split.size=100000000;
set mapred.min.split.size=100000000;

参考文档：

https://zhuanlan.zhihu.com/p/270002498（强烈推荐）
https://blog.csdn.net/qq_26442553/article/details/99693490
https://cloud.tencent.com/developer/article/1866347