随笔分类 -  hive

代替udf的transform
摘要:http://www.cnblogs.com/silva/p/4498032.html 阅读全文

posted @ 2016-04-11 18:05 不忘初衷,方能致远 阅读(133) 评论(0) 推荐(0)

hive udtf使用及explode
摘要:原文:http://blog.linezing.com/2011/03/hive%E4%B8%ADudtf%E7%BC%96%E5%86%99%E5%92%8C%E4%BD%BF%E7%94%A8 1. UDTF介绍 UDTF(User-Defined Table-Generating Functi 阅读全文

posted @ 2016-04-11 16:19 不忘初衷,方能致远 阅读(989) 评论(0) 推荐(0)

hive 优化之-------HQL
摘要:多表联合查询时候,小表尽量放左边,因为hive会把最后一个当做大文件放磁盘扫描,把前面的尽量放入内存; Sort by 与 order by的区别是 sort by 只是reduce 范围内的排序,而order by 是全局排序,可以利用 distribute by 和 sort by 提高效率, 阅读全文

posted @ 2016-04-08 12:19 不忘初衷,方能致远 阅读(333) 评论(0) 推荐(0)

hive 回避map-reduce job的场景
摘要:map-reduce 驱动需要消耗大量资源,也费时间。 对于简单查询,hive可以回避使用map-reduce,改用fetch task --hiveconf set hive.fetch.task.conversion=more; 那么对于select * from tab 这种就会很快。 如果有 阅读全文

posted @ 2016-04-08 11:22 不忘初衷,方能致远 阅读(209) 评论(0) 推荐(0)

mapreduce 过程原理
摘要:http://www.cnblogs.com/sharpxiajun/p/3151395.html http://langyu.iteye.com/blog/992916 http://www.aboutyun.com/thread-5595-1-1.html 阅读全文

posted @ 2016-04-06 15:10 不忘初衷,方能致远 阅读(103) 评论(0) 推荐(0)

导航