2020年11月7日
spark-submit参数之excutor-memory
摘要： https://blog.csdn.net/zhuiqiuuuu/article/details/86539385 excutor-memory底层是如何分配的 源码如下 // 默认值，1024MB var executorMemory = 1024 // OverHead 比例参数，默认0.1 v 阅读全文
posted @ 2020-11-07 20:06 dch_21 阅读(162) 评论(0) 推荐(0)
spark双流join
摘要： https://blog.csdn.net/dinghua_xuexi/article/details/107943242 背景 在构建实时数仓过程中，有时需要将两个实时数据源进行关联，生成大宽表数据，这时就不得不用到双流join。 场景 比如有这样的场景，订单实时数据源，和订单物品实时数据源。订单 阅读全文
posted @ 2020-11-07 16:46 dch_21 阅读(557) 评论(0) 推荐(0)
Flink实时对账——双流join
摘要： https://blog.csdn.net/andyonlines/article/details/108173259 import org.apache.flink.api.common.state.ValueStateDescriptor import org.apache.flink.api. 阅读全文
posted @ 2020-11-07 16:42 dch_21 阅读(434) 评论(0) 推荐(0)