随笔分类 -  hive

SQL窗口分析函数使用详解系列三之偏移量类窗口函数
摘要：SQL窗口分析函数能够支持我们在更多的场景直接进行数据处理，进而更加深入和高效的进行数据分析。 阅读全文
posted @ 2024-04-26 19:07 鲁边 阅读(823) 评论(0) 推荐(0)
hive窗口分析函数使用详解系列二之分组排序窗口函数
摘要：我们讨论面试中各大厂的SQL算法面试题，往往核心考点就在于窗口函数，所以掌握好了窗口函数，面对SQL算法面试往往事半功倍。 阅读全文
posted @ 2024-04-13 22:20 鲁边 阅读(710) 评论(0) 推荐(0)
hive窗口分析函数使用详解系列一
摘要：Hive提供的窗口和分析函数可以分为聚合函数类窗口函数，分组排序类窗口函数，偏移量计算类窗口函数 阅读全文
posted @ 2024-04-07 20:46 鲁边 阅读(811) 评论(0) 推荐(0)
Hive常见时间日期函数的使用与问题整理
摘要：hive本身提供的时间函数已经很丰富了，基本上能满足我们所有的需求，一些特殊需求也可以通过增加一些数学逻辑实现出来。 阅读全文
posted @ 2023-06-14 17:40 鲁边 阅读(3517) 评论(0) 推荐(0)
Hive存储格式之ORC File详解，什么是ORC File
摘要：ORC文件是以二进制的方式存储的，不可以直接读取，但由于ORC的自描述特性，其读写不依赖于 Hive Metastore 或任何其他外部元数据。本身存储了文件数据、数据类型及编码信息。因为文件是自包含的，所以读取ORC文件数据无需考虑用户使用环境。 阅读全文
posted @ 2022-08-25 09:56 鲁边 阅读(3382) 评论(1) 推荐(2)
什么是谓词下推，看这一篇就够了
摘要：今天有个小伙伴问我，什么是谓词下推，然后我就开启巴拉巴拉模式，说了好长一段时间，结果发现他还是懵的。 最后我概述给他一句话：所谓谓词下推，就是将尽可能多的判断更贴近数据源，以使查询时能跳过无关的数据。用在SQL优化上来说，就是先过滤再做聚合等操作。 看到这里的朋友可能就已经明白了什么是谓词下推，如果 阅读全文
posted @ 2022-08-16 01:39 鲁边 阅读(5327) 评论(0) 推荐(0)
Hive存储格式之RCFile详解，RCFile的过去现在和未来
摘要：我在整理Hive的存储格式和压缩格式，本来打算一篇发出来，结果其中一小节就有很多内容，于是打算写成Hive存储格式和压缩格式系列。 本节主要讲一下Hive存储格式最早的典型的列式存储格式RCFile。 综述 RCFile（Record Columnar File）文件格式是FaceBook开源的一种 阅读全文
posted @ 2022-08-14 20:05 鲁边 阅读(1673) 评论(0) 推荐(0)
什么是hive的静态分区和动态分区，它们又有什么区别呢？hive动态分区详解
摘要：什么是hive的静态分区和动态分区，它们又有什么区别呢？hive动态分区详解关于hive的静态分区和动态分区怎么用，又有什么区别呢， hive动态分区详解 阅读全文
posted @ 2022-08-07 18:05 鲁边 阅读(2855) 评论(0) 推荐(0)
关于hive分区，你知道多少呢？
摘要：​ 文末查看关键字，回复赠书 一、理论基础 1.Hive分区背景 在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2.Hive分区实质 因为Hive实际是存储在HDFS上的抽象，Hive 阅读全文
posted @ 2022-08-02 17:59 鲁边 阅读(995) 评论(0) 推荐(0)