辰令 - 博客园

2020年9月27日

数据开发-Python数据预处理案例

摘要：通过实现SQL类似的功能，处理收集数据，数据预处理，数据计算汇总等流程，了解相应的数据处理流程和技术手段。阅读全文

posted @ 2020-09-27 19:00 辰令阅读(1103) 评论(0) 推荐(0)

Spark开发-SparkUI查看metric和日志

摘要：通过SparkUI来了解Spark执行的情况以及时间和空间的花费阅读全文

posted @ 2020-09-27 18:58 辰令阅读(2114) 评论(0) 推荐(0)

2020年9月22日

Spark开发-SparkSQL执行过程和SQL相关

摘要： SparkSQL执行过程 SparkSQL中的Join类型阅读全文

posted @ 2020-09-22 19:58 辰令阅读(2092) 评论(0) 推荐(0)

Flink开发-Flink的计算模型和接口

摘要：数据输入数据转换数据输出阅读全文

posted @ 2020-09-22 12:51 辰令阅读(484) 评论(0) 推荐(0)

数据仓库-基本框架和内容

摘要：维度建模数据分层数据分级阅读全文

posted @ 2020-09-22 12:50 辰令阅读(488) 评论(0) 推荐(0)

数据仓库-需求沟通和开发示例

摘要：需求沟通的一些方式和SQL开发的流程阅读全文

posted @ 2020-09-22 12:48 辰令阅读(310) 评论(0) 推荐(0)

2020年9月17日

Spark开发-开发总览

摘要： Spark基本开发流程阅读全文

posted @ 2020-09-17 19:19 辰令阅读(443) 评论(0) 推荐(0)

2020年9月14日

Hive 高阶应用开发示例(二)

摘要： Hive的一些常用的高阶开发内容 1.开窗函数 2.行转列,列转行,多行转一行，一行转多行 3.分组：增强型group 4.排序 5.关联本次的内容：分组排序关联 1.分组 GROUP BY GROUP BY WITH rollup GROUP BY WITH cube GROUP BY 阅读全文

posted @ 2020-09-14 18:55 辰令阅读(290) 评论(0) 推荐(0)

2020年9月7日

Hive 高阶应用开发示例(一)

摘要： Hive的一些常用的高阶开发，主要涉及Hive的开窗函数，行列转换等阅读全文

posted @ 2020-09-07 18:04 辰令阅读(390) 评论(0) 推荐(0)

2020年8月19日

Spark开发-关联分析

摘要：频繁项集，关联规则，支持度，置信度，提升度阅读全文

posted @ 2020-08-19 19:08 辰令阅读(812) 评论(0) 推荐(0)