hive-严格查询模式下set hive.mapred.mode=strict，order by必须加limit有没有系统性能的提升

 

    一、hive严格查询模式下使用order by必须加limit有系统性能的提升

     书中看到这么一句话，强制用户增加这个limit语句可以防止reducer额外执行很长一段时间。

     执行效率是有明显提高的，代码端可以体现出来，重点说下体现在哪里。

SELECT  client_str
FROM    bigdata2c.dwd_shihuo_appclick  
WHERE   dt BETWEEN to_char(dateadd(to_date(${bdp.system.bizdate},'yyyymmdd') , - 5,'dd') ,'yyyymmdd')
AND     ${bdp.system.bizdate}
order by client_str asc
limit   100
;

大概是6亿的数据，如果不limit 大概跑480s，加上limit的话大概是30s跑完

主要是加limit的时候每个maptask只会发100条数据给reduce

map-reduce任务流程如下：

加limit的reduce任务的明细日志

不加reduce的日志明细：

排序的数据是有明显差距的。