hulifang

2019年9月6日

摘要： hive配置角度优化：（1）列剪裁 hive在查询时，只查询用到的列（2）分区裁剪 hive在查询时将分区放入子查询中查询更加高效，可以减少读入的分区数目（3）join优化在编写带有join的语句时，将条目少的放在join操作符的左边，因为在reduce阶段，位于join操作符左边的数据会被阅读全文

posted @ 2019-09-06 16:22 hulifang 阅读(326) 评论(0) 推荐(0)

hive静态动态表

摘要：静态和动态分区表差不多一样，只不过在导入数据时需要加上条件: insert overwrite table p_user partition(occupationid) select id,gender,age,zip,occupationid from user; insert overwrite 阅读全文

posted @ 2019-09-06 14:29 hulifang 阅读(360) 评论(0) 推荐(0)

2019年9月5日

Hbase过滤器使用

摘要：要完成一个过滤操作，至少需要两个参数;(1)抽象的操作符（2）具体的比较器 https://www.cnblogs.com/qingyunzong/p/8681529.html#_label0 抽象操作符（比较运算符） LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUA 阅读全文

posted @ 2019-09-05 16:17 hulifang 阅读(203) 评论(0) 推荐(0)

2019年9月3日

groupbyKey和reducebyKey的区别

摘要： reducebyKey会先在本地机器上进行局部聚合，然后在移动数据，进行全局聚合 groupbyKey会先将数据进行移动，再做聚合 reducebyKey适合使用在大数据量上阅读全文

posted @ 2019-09-03 17:57 hulifang 阅读(2607) 评论(0) 推荐(0)

hive大小表join性能优化

摘要：当一个大表和小表进行join操作时，使用mapjoin性能比普通的join要快很多，mapjoin还能解决数据倾斜问题，基本原理：在小数据量情况下，会将小表全部加载到执行join操作的程序的内存中，从而加快join的执行速度。大小表join时，将小表放在前面，会将小表进行缓存。 mapjoin将小阅读全文

posted @ 2019-09-03 16:59 hulifang 阅读(2410) 评论(0) 推荐(0)

hive大小表join性能优化

摘要：当一个大表和小表进行join操作时，使用mapjoin性能比普通的join要快很多，mapjoin还能解决数据倾斜问题，基本原理：在小数据量情况下，会将小表全部加载到执行join操作的程序的内存中，从而加快join的执行速度。大小表join时，将小表放在前面，会将小表进行缓存。 mapjoin将小阅读全文

posted @ 2019-09-03 16:59 hulifang 阅读(717) 评论(0) 推荐(0)

2019年8月29日

hive UDF,UDAF,UDTF函数区别

摘要： udf:一进一出 udaf:多进一出，聚合函数（min/max/count/） udtf:一进多出，later view explore 阅读全文

posted @ 2019-08-29 15:59 hulifang 阅读(1138) 评论(0) 推荐(0)

hive中的列转行和行转列

摘要： https://www.cnblogs.com/zzhangyuhang/p/9791795.html https://www.cnblogs.com/blogyuhan/p/9274784.html 列转行:user_id order_id 104399 1715131 104399 210539 阅读全文

posted @ 2019-08-29 11:39 hulifang 阅读(701) 评论(0) 推荐(0)

hive多行变单行函数collect_set和collect_list

摘要： collect_set: 去重，对group by后面的进行去重,对group by以后属于同一组的形成一个集合，结合concat_ws对集合中元素使用，进行分隔形成字符串 collect_list: 不去重 http://blog.sina.com.cn/s/blog_7e04e0d00102xv 阅读全文

posted @ 2019-08-29 11:01 hulifang 阅读(685) 评论(0) 推荐(0)

hive中的排序函数

摘要：详细的文档：https://blog.csdn.net/jthink_/article/details/38903775 order by 只有一个reduce 实现全局排序 sort by 只有一个reduce时功能跟order by一样实现全局排序，reduce有多个时实现每个reduce局部排阅读全文

posted @ 2019-08-29 10:21 hulifang 阅读(881) 评论(0) 推荐(0)

公告