[Bigdata Platform] - 随笔分类 - chaplinthink

摘要：Flink CDC同步MySQL分库分表数据到Iceberg数据湖实践阅读全文

posted @ 2022-04-25 22:05 chaplinthink 阅读(2742) 评论(0) 推荐(0)

摘要：本文主要针对日志数据接入数据仓库场景进行设计, 同时介绍了下在设计接入时的一些细节,针对可能出现的问题进行必要的处理. 阅读全文

posted @ 2022-01-05 23:57 chaplinthink 阅读(276) 评论(0) 推荐(0)

摘要：本文主要根据平台用户平常提交的spark任务思考,调研引入Dr. Elephant, 通过阅读Dr 相关源码, 明白Dr 执行整体流程并对代码进行改造,适配我们的需求.最终转变为平台产品来对用户的Spark任务进行诊断并给出相关调优建议. 阅读全文

posted @ 2021-12-31 22:19 chaplinthink 阅读(644) 评论(0) 推荐(0)

摘要：本文主要介绍如何基于log4j appender自定义扩展实现大数据平台任务日志采集. 阅读全文

posted @ 2021-12-30 00:07 chaplinthink 阅读(875) 评论(0) 推荐(0)

摘要：本文主要介绍HBase平台的建设思路及设计, 并对跨集群数据迁移实践进行总结阅读全文

posted @ 2021-12-27 21:37 chaplinthink 阅读(371) 评论(0) 推荐(0)

chaplinthink