hive 之with....as的用法
摘要：1.作用 with 。。as需要定义一个sql片段,会将这个片段产生的结果集保存在内存中,后续的sql均可以访问这个结果集,作用与视图或临时表类似. 2语法 with...as...必须和其他sql一起使用(可以定义一个with但在后续语句中不使用他) with...as...是一次性的，是临时的
阅读全文
posted @
2021-01-12 11:50
爱吃萝卜青菜
阅读(2438)
推荐(0)
hive 之lateral view 函数用法
摘要：1.作用 1.Lateral View用于和UDTF函数（explode、split）结合来使用。 2.首先通过UDTF函数拆分成多行，再将多行结果组合成一个支持别名的虚拟表。 3.主要解决在select使用UDTF做查询过程中，查询只能包含单个UDTF，不能包含其他字段、以及多个UDTF的问题 2
阅读全文
posted @
2021-01-12 11:39
爱吃萝卜青菜
阅读(1537)
推荐(0)
hive与mysql别名的位置及使用
摘要：一、Mysql中别名的使用位置 select子句中的别名的使用，在group by及后面可使用。 from子句中的表别名的使用，在where及后面可使用。 二、hive sql中别名的使用位置 在having及后面可以使用。 在order by排序时，必须使用别名，不能使用表达式。
阅读全文
posted @
2020-09-21 14:15
爱吃萝卜青菜
阅读(981)
推荐(0)
hive 之日期格式转换
摘要：1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式
阅读全文
posted @
2020-09-11 14:54
爱吃萝卜青菜
阅读(6163)
推荐(0)
hive 之将sql执行结果输出到文件中
摘要：语法 hive -e "select * from test" >> res.csv 或者 hive -e "select * from test" >> res.txt
阅读全文
posted @
2020-08-12 15:09
爱吃萝卜青菜
阅读(2553)
推荐(0)
hive 查询排名的开窗函数row_number()
摘要：hive中的over()开窗函数还有很多，但是特别有用的 还是row_number() 还是排名函数 平时平时使用聚合函数比较多，但是对于某些需求，group by使用起来会很吃力，而且子查询很多，这时候就用到了开窗函数。 row_number() over(PARTITION BY station
阅读全文
posted @
2020-04-30 17:13
爱吃萝卜青菜
阅读(1531)
推荐(0)
hive之hive的基本概念
摘要：1.什么是hive Hive是用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序，他们的转换过程如下图所示 1）Hive 处理的数据存储在 HD
阅读全文
posted @
2020-04-29 16:31
爱吃萝卜青菜
阅读(280)
推荐(0)
如何将mysql数据导入hive中
摘要：1.首先在hive中建表（尽量与mysql字段对应） 2. 将mysql中的表导出 txt格式 3.通过hadoop 上传到HDFS上 命令 hadoop dfs -put /home/hadoop/dim_station_trans_com_info.txt /user/hive/external
阅读全文
posted @
2020-04-24 18:29
爱吃萝卜青菜
阅读(3399)
推荐(1)
hive 中实现分组排序（去重操作）
摘要：最近遇到一个需求：求出各个部分工资排名前十的同事。由于数据量太大，在、不能只能用mysql（速度太慢了），还就用hive进行查询。 找到了一个分组排序函数 row_number() 语法： row_number() over(partition by 分组列 order by 排序列 desc) 注
阅读全文
posted @
2020-04-22 10:21
爱吃萝卜青菜
阅读(2587)
推荐(0)
浙公网安备 33010602011771号