随笔分类 - Spark_Flink

大数据 SQL和机器学习

Ray_异步执行数据_pipeline

摘要：线程池、Ray、Celery 和 asyncio 阅读全文

posted @ 2025-07-10 19:52 辰令阅读(244) 评论(0) 推荐(0)

Spark开发-Spark中的设计模式_创建型模式大类

摘要：创建型模式阅读全文

posted @ 2021-01-13 20:37 辰令阅读(541) 评论(0) 推荐(0)

Spark开发-SparkSQL引擎自定义配置

摘要：Spark catalyst 阅读全文

posted @ 2021-01-11 16:25 辰令阅读(1223) 评论(0) 推荐(0)

Spark开发-SparkSQL读写数据

摘要：Spark从不同的系统读写数据- 本地文件写入到Hive注意事项阅读全文

posted @ 2021-01-08 18:21 辰令阅读(1162) 评论(0) 推荐(0)

Flink开发_Flink的SQL和TableAPI的UDF

摘要：Flink自定义函数阅读全文

posted @ 2020-12-05 12:52 辰令阅读(2151) 评论(0) 推荐(0)

Flink开发_Flink的概念理解

摘要：Flink 的框架中的一些概念梳理阅读全文

posted @ 2020-12-03 20:44 辰令阅读(739) 评论(0) 推荐(0)

Flink开发_Flink函数实现

摘要：Flink函数实现 FlatMapFunction 等阅读全文

posted @ 2020-12-02 20:07 辰令阅读(279) 评论(0) 推荐(0)

Flink开发_Flink中的函数接口

摘要：Flink中的函数 functions，是构建算子的一些内部使用的接口，以及开发中会使用到的阅读全文

posted @ 2020-12-02 19:08 辰令阅读(339) 评论(0) 推荐(0)

Spark开发-Spark和UDTF之间的介绍

摘要：Spark 和Hive中的UDTF 阅读全文

posted @ 2020-11-23 20:57 辰令阅读(1000) 评论(0) 推荐(0)

Spark开发_Spark的UDF开发

摘要：Spark 的UDF开发和使用阅读全文

posted @ 2020-11-23 13:49 辰令阅读(2106) 评论(0) 推荐(0)

Spark开发-Spark UDAF(三)

摘要：Spark开发UDAF ImmutableRoaringBitmap 阅读全文

posted @ 2020-11-21 12:54 辰令阅读(84) 评论(0) 推荐(0)

Spark开发-SparkUDAF(二)

摘要：Spark RoaringBitmap UDAF 阅读全文

posted @ 2020-11-20 11:51 辰令阅读(329) 评论(0) 推荐(0)

Spark开发-Spark UDAF(一)

摘要：Spark Roaringbitmap UDAF 阅读全文

posted @ 2020-11-19 19:02 辰令阅读(1235) 评论(0) 推荐(0)

Spark开发-Spark中类型安全UDAF开发示例

摘要：Type-safe 类型安全的UDAF以及 Dataset中的Bean使用阅读全文

posted @ 2020-11-19 19:00 辰令阅读(302) 评论(0) 推荐(0)

Spark开发_构建TypeSafe的Dataset

摘要：Bean 阅读全文

posted @ 2020-11-19 18:57 辰令阅读(195) 评论(0) 推荐(0)

Spark开发-Spark中UDAF开发示例

摘要：Spark UDAF类型创建和使用的示例阅读全文

posted @ 2020-11-16 20:14 辰令阅读(748) 评论(0) 推荐(0)

Spark开发-内存模型

摘要：Spark的内存模型，以及针对内存的调优和对数据倾斜的观察-定位和解决整个流程阅读全文

posted @ 2020-10-15 20:10 辰令阅读(612) 评论(0) 推荐(0)

Spark开发-Spark内存溢出原因以及解决方式

摘要：Spark内存溢出- OutOfMemoryError memoryOverhead 阅读全文

posted @ 2020-10-14 20:10 辰令阅读(14016) 评论(0) 推荐(0)

Spark开发_Spark数据变换-透视(Pivot)

摘要：Spark中行列转换，数据透视(Pivot)，宽表和长表的变换阅读全文

posted @ 2020-09-29 18:21 辰令阅读(867) 评论(0) 推荐(0)

Spark开发-SparkUI查看metric和日志

摘要：通过SparkUI来了解Spark执行的情况以及时间和空间的花费阅读全文

posted @ 2020-09-27 18:58 辰令阅读(2217) 评论(0) 推荐(0)