2022年9月16日
162-《大数据架构师》实时数仓项目实战（三）flink项目优化，集群个数 电商业务指标，监控的restAPI， 暂时没用
摘要： 通过flink restApi进行监控 flink至少一次和精准一次 两阶段提交 阅读全文
posted @ 2022-09-16 22:26 十一vs十一 阅读(91) 评论(0) 推荐(0)
161-《大数据架构师》实时数仓项目实战（二）maxweill全量导入和增量导入 hudi整合flink和hive 拆表逻辑 暂时没用
摘要： hudi0.10自己进行编译 hudi中的数据映射到hive中 将维度数据保存到redis 通过maxwell全量同步（数据量不是很大的时候） 数据量比较大的情况通过maxwell同步数据 建表需要加入导出条件字段 这个是上面的例子加入导入条件 拆表需要注意 拆表代码 阅读全文
posted @ 2022-09-16 17:50 十一vs十一 阅读(116) 评论(0) 推荐(0)