随笔分类 -  Hive

count(*)与count(字段)的区别
摘要：1、count(*)查询结果中包含 null值的空行， count(字段) 查询结果为非空行。 注意：1、该特性是 COUNT 函数所特有的，其他函数并不能将星号作为参数（如果使用星号会出错）。 2、所有的聚合函数，如果以列名为参数，那么在计算之前就已经把NULL 排除在外了。因此，无论有多少个 N 阅读全文
posted @ 2022-01-11 08:02 SailorG 阅读(2462) 评论(0) 推荐(0)
where过滤条件中的注意事项
摘要：1、where 后同时出现 and 和or时，and的优先级高于or优先级。 解决办法：where后同时出现and 和 or 时，使用括号，决定谁和谁是在一起的。 2、过滤或查询包含 null 值的字段时，不能使用 比较运算符（> , <, != , = ），算术运算符(+, -, *, /)。 解 阅读全文
posted @ 2022-01-11 07:37 SailorG 阅读(129) 评论(0) 推荐(0)
SQL中获取每组中的前两条 | 每组中第2条 | 每组中指定位置的信息
摘要：前提条件： 使用伪劣实现，对现有的信息进行分组添加序号。 create table if not EXISTS bigdata.test (id int ,name varchar(255), num int); insert into test VALUES(1,'lili-1', 1); ins 阅读全文
posted @ 2022-01-10 18:03 SailorG 阅读(1113) 评论(0) 推荐(0)
SQL中的谓词下推
摘要：SQL中的谓词只有一个就是like。like是谓词而不是操作符。 在使用通配符模糊查询的时候，必须使用like谓词。 通配符使用的注意事项：通配符搜索只能用于文本字段（串），非文本数据类型字段不能使用通配符搜索。 通配符：% 任意个字符（除null）；_ 唯一一个字符；[ ] 集合只有微软的Acce 阅读全文
posted @ 2021-10-11 17:51 SailorG 阅读(353) 评论(0) 推荐(0)
mysql代码实现hive中的rank()排序方法，获得top3中的最小值
摘要：-- 方式一 -- 使用判断获取top3的最小值 select case when countNum = 1 then (select order_amount from test.test04 group by order_amount order by order_amount desc lim 阅读全文
posted @ 2021-09-26 17:37 SailorG 阅读(251) 评论(0) 推荐(0)
MySQL--Hive中字段数据类型对比
摘要：注意： 从Sqoop导入MySQL导入TINYINT(1)类型数据到hive（tinyint），数据为null的问题 参考链接：https://blog.csdn.net/qq_43688472/article/details/117998545 阅读全文
posted @ 2021-09-26 15:16 SailorG 阅读(1248) 评论(0) 推荐(0)
Hive的配置及优化
摘要：配置： 1、使用shell脚本导出数据为 *.csv 格式的表 显示表中字段配置 正常的输出数据是不带字段的。只是导出数据，为了实现字段名和数据对应着输出，做以下配置： hive中导出查询结果的时候控制是否true | false (输出字段名 | 不输出字段名) hive -e "SET hive 阅读全文
posted @ 2021-05-28 16:27 SailorG 阅读(254) 评论(0) 推荐(0)
Hive和Impala的区别
摘要：1、执行速度不同： Hive：底层基于Hadoop的MapReduce引擎，计算过程中经常要走shuffle过程，速度比较慢 Impala：底层基于内存，执行效率高，是Hive执行速度的5-50倍之间。 2、使用的函数之间有区别： Hive：使用 concat() | concat_ws() 函数， 阅读全文
posted @ 2021-05-26 16:42 SailorG 阅读(2375) 评论(0) 推荐(0)