随笔分类 -  数据仓库

SQL中unnest的用法
摘要：搬运工：https://www.cnblogs.com/goloving/p/7001810.html unnest类似炸裂函数，使用起来相当简单 阅读全文
posted @ 2024-02-20 16:36 soccerchen 阅读(160) 评论(0) 推荐(0)
数仓宝典
摘要：前言：就是将一些数仓领域的精华经验，分别用一句话展示出来。 数仓分层千千万，核心三层是进仓、加工、出仓。 开窗函数，可以解决99%的逐条汇总需求。 当有数据量差异时，按维度汇总后比对数据量差异，可以快速确定单点异常还是通盘异常。 数据迁移前，数据资产清单的确定非常重要，及时工具层面可以全部迁入新环境 阅读全文
posted @ 2023-10-09 16:38 soccerchen 阅读(51) 评论(0) 推荐(0)
炸裂函数的细节
摘要：常规用法就不说，说个细节的，有想过炸开后会丢失数据吗？ 给个例子，id为1，List_string为[]或者NULL，此时炸完之后，数组是没有数据，而炸裂函数默认是直接关联（inner join），所以原始记录会丢失，如果在lateral view后加上outer就可以做到类似左关联的功能。 阅读全文
posted @ 2023-08-31 16:25 soccerchen 阅读(68) 评论(0) 推荐(0)
一个SQL解决历史累计、当月累计和当日明细
摘要：最近刚好接到了这样一个需求，就是标题所示的要在报表中展示截止到业务日期时的历史累计值、当月累计值和当日值。 数据首先是处理到这样的模型中：业务日期(biz_date)、当日增量统计值(cnt) SQL如下： select biz_date,--业务日期 cnt,--当日统计值 sum(cnt) ov 阅读全文
posted @ 2023-08-25 11:23 soccerchen 阅读(2270) 评论(0) 推荐(1)
表Owner
摘要：使用SQL执行引擎建表的表，Owner是ALIYUN$开头 使用Dataworks表管理建表，准确的说是将web端的表结构及描述信息同步至Hive的Owner以RAM$开头 阅读全文
posted @ 2023-07-31 10:53 soccerchen 阅读(27) 评论(0) 推荐(0)
数仓数据接入心得
摘要：分成三种类型：状态表、流水表、配置表 状态表 比如账户表、用户表、订单表，记录账户额度，使用金额，订单当前流转状态，这些数据通常很大，但是又不会所有的数据都更新，因此使用增量更新的方式获取数据并更新数仓里对应的数据表。 一般会使用快照表的方式展示。很少用到拉链表的形式。 流水表 比如出入账记录表，点 阅读全文
posted @ 2023-06-25 16:29 soccerchen 阅读(189) 评论(0) 推荐(0)
分析小数部分位数时遇到的小坑
摘要：本篇随笔讲一下split()和split_part() 1、split函数 split(<str>, <pat>, [<trimTailEmpty>])参数1是一个string参数2要注意是一个正则表达式，不是string（这也是本次遇到小坑的地方）参数3不常用，true是默认值，如果解析"a,b, 阅读全文
posted @ 2023-06-16 18:23 soccerchen 阅读(39) 评论(0) 推荐(0)
SQL中json解析技巧
摘要：比如字段var1，值是'{"a":{"b":{"c":1,"d":2}}}' 大家都知道用get_json_object(var1,'$.a')可以得到'{"b":{"c":1,"d":2}}'，如果要继续下挖，不需要get_json_object函数一直套 可以直接按这个写法：get_json_o 阅读全文
posted @ 2023-06-14 19:39 soccerchen 阅读(1639) 评论(0) 推荐(0)
数据比对通用SQL模版
摘要：-- ********************************************************************-- -- author:xujinchen -- create time:2023-06-14 17:51:04 -- ****************** 阅读全文
posted @ 2023-06-14 19:26 soccerchen 阅读(57) 评论(0) 推荐(0)