摘要: 相信在Etl的过程中不可避免的实用union all来拼装数据,那么这就涉及到是否并行处理的问题了。在hive中是否适用并行map,可以通过参数来设定:set hive.exec.parallel=true; 那么还是实用上一篇博客的数据,链接:http://www.cnblogs.com/liqi... 阅读全文
posted @ 2015-10-12 23:55 李秋 阅读(2563) 评论(0) 推荐(0) 编辑
摘要: 一、前言公司实用Hadoop构建数据仓库,期间不可避免的实用HiveSql,在Etl过程中,速度成了避无可避的问题。本人有过几个数据表关联跑1个小时的经历,你可能觉得无所谓,可是多次Etl就要多个小时,非常浪费时间,所以HiveSql优化不可避免。注:本文只是从sql层面介绍一下日常需要注意的点,不... 阅读全文
posted @ 2015-10-12 23:19 李秋 阅读(15498) 评论(0) 推荐(1) 编辑