随笔分类 -  hive

hive UDF 编程
摘要：UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了 UDF的分类 UDF：one to one，进来一个出去一个，row mapping。是row级别操作，如：upper、substr函 阅读全文
posted @ 2020-09-02 15:14 吊车尾88 阅读(553) 评论(0) 推荐(0)
利用Hive分析nginx日志
摘要：这里用到的nginx日志是网站的访问日志，比如日志格式： 180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTTP/1.1" 200 968 "http://www.iteblog.com/archives/9 阅读全文
posted @ 2017-05-31 18:55 吊车尾88 阅读(910) 评论(0) 推荐(0)
hive 分组排序，topN
摘要：hive 分组排序，topN 语法格式：row_number() OVER (partition by COL1 order by COL2 desc ) rankpartition by：类似hive的建表，分区的意思；order by ：排序，默认是升序，加desc降序；rank：表示别名表示根 阅读全文
posted @ 2017-05-27 12:16 吊车尾88 阅读(1041) 评论(0) 推荐(0)