摘要: ORC文件是以二进制的方式存储的,不可以直接读取,但由于ORC的自描述特性,其读写不依赖于 Hive Metastore 或任何其他外部元数据。本身存储了文件数据、数据类型及编码信息。因为文件是自包含的,所以读取ORC文件数据无需考虑用户使用环境。 阅读全文
posted @ 2022-08-25 09:56 鲁边 阅读(1304) 评论(0) 推荐(1) 编辑
摘要: 要理解相关子查询和非相关子查询,我们得首先理解什么是子查询,子查询是指在一个查询语句中嵌套的另一个查询语句。 阅读全文
posted @ 2024-04-28 16:35 鲁边 阅读(91) 评论(0) 推荐(0) 编辑
摘要: SQL窗口分析函数能够支持我们在更多的场景直接进行数据处理,进而更加深入和高效的进行数据分析。 阅读全文
posted @ 2024-04-26 19:08 鲁边 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 以Flink为主的计算引擎配合OLAP查询分析引擎组合进而构建实时数仓**,其技术方案的选择是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中会实实在在遇到的问题。 很多人一提起实时数仓,就直接大谈特谈Hudi,Flink的流批一体等,但实际上,**实时数仓包括任何架构体系的构建如果我们抛开成本和稳定性谈技术,那都是有耍流氓的嫌疑。 阅读全文
posted @ 2024-04-15 20:45 鲁边 阅读(270) 评论(0) 推荐(2) 编辑
摘要: 我们讨论面试中各大厂的SQL算法面试题,往往核心考点就在于窗口函数,所以掌握好了窗口函数,面对SQL算法面试往往事半功倍。 阅读全文
posted @ 2024-04-13 22:21 鲁边 阅读(131) 评论(0) 推荐(0) 编辑
摘要: Hive提供的窗口和分析函数可以分为聚合函数类窗口函数,分组排序类窗口函数,偏移量计算类窗口函数 阅读全文
posted @ 2024-04-07 20:46 鲁边 阅读(106) 评论(0) 推荐(0) 编辑
摘要: 使用高级分组聚合不仅可以简化SQL语句,而且通常情况下会提升SQL语句的性能。 阅读全文
posted @ 2023-06-29 17:29 鲁边 阅读(273) 评论(0) 推荐(0) 编辑
摘要: 带聚合函数的SQL逻辑,我们可以根据其执行过程的不同,将其分成三大类来进行分析: 仅在Reduce阶段聚合的SQL执行逻辑 在Map和Reduce阶段都有聚合操作的SQL执行逻辑 高级分组聚合的执行SQL逻辑 阅读全文
posted @ 2023-06-21 11:33 鲁边 阅读(301) 评论(0) 推荐(0) 编辑
摘要: hive本身提供的时间函数已经很丰富了,基本上能满足我们所有的需求,一些特殊需求也可以通过增加一些数学逻辑实现出来。 阅读全文
posted @ 2023-06-14 17:41 鲁边 阅读(858) 评论(0) 推荐(0) 编辑
摘要: 这种只含map的操作,如果文件大小控制在合适的情况下,都将只有本地操作,其执行非常高效,运行效率完全不输于在计算引擎Tez和Spark上运行。 阅读全文
posted @ 2023-06-13 17:27 鲁边 阅读(233) 评论(0) 推荐(0) 编辑
摘要: Hive开启向量化模式也是hiveSQL优化方法中的一种,可以提升hive查询速率,也叫hive矢量化。 阅读全文
posted @ 2023-06-09 20:14 鲁边 阅读(542) 评论(2) 推荐(1) 编辑