上一页 1 ··· 4 5 6 7 8 9 下一页
摘要: hive配置角度优化: (1)列剪裁 hive在查询时,只查询用到的列 (2)分区裁剪 hive在查询时将分区放入子查询中查询更加高效,可以减少读入的分区数目 (3)join优化 在编写带有join的语句时,将条目少的放在join操作符的左边,因为在reduce阶段,位于join操作符左边的数据会被 阅读全文
posted @ 2019-09-06 16:22 hulifang 阅读(326) 评论(0) 推荐(0)
摘要: 静态和动态分区表差不多一样,只不过在导入数据时需要加上条件: insert overwrite table p_user partition(occupationid) select id,gender,age,zip,occupationid from user; insert overwrite 阅读全文
posted @ 2019-09-06 14:29 hulifang 阅读(360) 评论(0) 推荐(0)
摘要: 要完成一个过滤操作,至少需要两个参数;(1)抽象的操作符(2)具体的比较器 https://www.cnblogs.com/qingyunzong/p/8681529.html#_label0 抽象操作符(比较运算符) LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUA 阅读全文
posted @ 2019-09-05 16:17 hulifang 阅读(203) 评论(0) 推荐(0)
摘要: reducebyKey会先在本地机器上进行局部聚合,然后在移动数据,进行全局聚合 groupbyKey会先将数据进行移动,再做聚合 reducebyKey适合使用在大数据量上 阅读全文
posted @ 2019-09-03 17:57 hulifang 阅读(2607) 评论(0) 推荐(0)
摘要: 当一个大表和小表进行join操作时,使用mapjoin性能比普通的join要快很多,mapjoin还能解决数据倾斜问题,基本原理:在小数据量情况下,会将小表全部加载到执行join操作的程序的内存中,从而加快join的执行速度。 大小表join时,将小表放在前面,会将小表进行缓存。 mapjoin将小 阅读全文
posted @ 2019-09-03 16:59 hulifang 阅读(2410) 评论(0) 推荐(0)
摘要: 当一个大表和小表进行join操作时,使用mapjoin性能比普通的join要快很多,mapjoin还能解决数据倾斜问题,基本原理:在小数据量情况下,会将小表全部加载到执行join操作的程序的内存中,从而加快join的执行速度。 大小表join时,将小表放在前面,会将小表进行缓存。 mapjoin将小 阅读全文
posted @ 2019-09-03 16:59 hulifang 阅读(717) 评论(0) 推荐(0)
摘要: udf:一进一出 udaf:多进一出,聚合函数(min/max/count/) udtf:一进多出,later view explore 阅读全文
posted @ 2019-08-29 15:59 hulifang 阅读(1138) 评论(0) 推荐(0)
摘要: https://www.cnblogs.com/zzhangyuhang/p/9791795.html https://www.cnblogs.com/blogyuhan/p/9274784.html 列转行:user_id order_id 104399 1715131 104399 210539 阅读全文
posted @ 2019-08-29 11:39 hulifang 阅读(701) 评论(0) 推荐(0)
摘要: collect_set: 去重,对group by后面的进行去重,对group by以后属于同一组的形成一个集合,结合concat_ws对集合中元素使用,进行分隔形成字符串 collect_list: 不去重 http://blog.sina.com.cn/s/blog_7e04e0d00102xv 阅读全文
posted @ 2019-08-29 11:01 hulifang 阅读(685) 评论(0) 推荐(0)
摘要: 详细的文档:https://blog.csdn.net/jthink_/article/details/38903775 order by 只有一个reduce 实现全局排序 sort by 只有一个reduce时功能跟order by一样实现全局排序,reduce有多个时实现每个reduce局部排 阅读全文
posted @ 2019-08-29 10:21 hulifang 阅读(881) 评论(0) 推荐(0)
上一页 1 ··· 4 5 6 7 8 9 下一页