大数据技术派

摘要： 数据仓库系列文章(持续更新) 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 数据仓库之拉链表 数仓—数据集成 数仓—数据集市 数仓—商业智能系统 数仓—埋点设计与管理 数仓—ID Mapping 数仓—OneID 数仓—AARRR海盗模型 数仓—总线矩阵 阅读全文

摘要： 今天是我在上海租房的小区被封的第三天，由于我的大意，没有屯吃的，外卖今天完全点不到了，中午的时候我找到了一包快过期的肉松饼，才补充了1000焦耳的能量。但是中午去做核酸的时候，我感觉走路有点不稳，我看到大白的棉签深入我的嘴里，我竟然以为是吃的，差点咬住了，还好我有仅存的一点意识。下午我收到女朋友给我 阅读全文

摘要： Spark系列面试题 Spark面试题（一） Spark面试题（二） Spark面试题（三） Spark面试题（四） Spark面试题（五）——数据倾斜调优 Spark面试题（六）——Spark资源调优 Spark面试题（七）——Spark程序开发调优 Spark面试题（八）——Spark的Shuf 阅读全文

摘要： 这几天上海疫情严重了，居家办公了几天，后面如果去公司上班需要核酸证明，今天去做了个核酸，竟然是桶鼻子，卧槽。不过说实话，捅鼻子也没啥，这酸爽犹如灵魂出窍，全身通透，让人飘飘然而不知所措。做一次管3天，后面可能还要去做，其实我在想传说中的肛拭子是啥样，我倒真希望体验一下。。。 数据仓库系列文章(持续更 阅读全文

摘要： 早晨起床的时候，发现自己尿分叉，我没有多想，简单洗洗就匆忙出门。路过早餐店，我看到师傅熟练的拉扯一小块面团，拉至细长条，然后放入油锅中，不一会功夫，一根屎黄色的油条便出锅了，卖相不错。我在想，小到炸屎黄色的油条，大到学习，其实都是一个熟能生巧的过程。 数据仓库系列文章(持续更新) 数仓架构发展史 数 阅读全文

摘要： 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 埋点设计与管理 埋点的作用 开始之前我们先看一下我们为什么要收集埋点数据，埋点都可以做什么，埋点主要用于记录用户行为,几乎是应用必不可少的功能.埋点的作用包括但不限于 分析用户转化以及存留 例如下载的用户数量,注册的用户数量,一段时间之后 阅读全文

摘要： 关注公众号：大数据技术派，回复“资料”，领取1024G资料。 数据集市(DM) 这里我们先回忆一下数据仓库的定义， 数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映 阅读全文

摘要： 目录数据治理统一流程参考模型为什么要治理数据质量层次不齐数据交换和共享困难缺乏有效的管理机制存在数据安全隐患发现问题严重滞后影响不清晰DMBOK的数据治理框架数仓治理治理的分类粗治理细治理数据源治理数据源管理数据源监控数据同步数仓模型治理数据划分及命名空间约定常规表的命名中间表统一指标和字段命名公共 阅读全文

摘要： Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hi 阅读全文

摘要： Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 第04讲：Flink 常用的 DataSet 和 DataStream API 第05讲：Flink SQL & Ta 阅读全文