随笔分类 -  hive

摘要：转自：http://www.cnblogs.com/Richardzhu/p/3613661.htmlhive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导... 阅读全文

摘要：转自：http://flyingdutchman.iteye.com/blog/1871025 在当前的基于Hadoop系统的数据仓库中，数据存储格式是影响数据仓库性能的一个重要因素。Facebook于是提出了集行存储和列存储的优点于一身的RCFile文件存储格式，据说当前在Facebook公司内... 阅读全文

摘要：order byorder by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set ... 阅读全文

摘要：当hive在执行大数据量的统计查询语句时，经常会出现下面OOM错误，具体错误提示如下：Possible error: Out of memory due to hash maps used in map-side aggregation.Solution: Currently hive.map.ag... 阅读全文