chaplinthink

摘要： ClickHouse安装 采用doker安装测试： 拉取服务端 docker pull yandex/clickhouse-server 拉取客户端 docker pull yandex/clickhouse-client 启动ck-server: docker run -d --name ck-s 阅读全文

摘要： 本篇主要讲解Flink CDC与hudi整合实践, 探索新的湖仓一体架构 阅读全文

摘要： Flink CDC同步MySQL分库分表数据到Iceberg数据湖实践 阅读全文

摘要： 主要从架构、组件原理、业务场景等角度针对相关组件的技术要点进行总结 阅读全文

摘要： 本文主要介绍小文件的处理方法思路,以及通过阅读源码和相关资料学习hudi 如何在写入时智能的处理小文件问题新思路.Hudi利用spark 自定义分区的机制优化记录分配到不同文件的能力,达到小文件的合并处理. 阅读全文

摘要： 本文主要针对hudi进行调研, 设计MySQL CDC 近实时同步至数仓中方案, 写入主要利用hudi的upsert以及delete能力. 针对hudi 表的查询,引入kyuubi 框架,除 了增强平台 spark sql 一些即席查询服务的能力外,同时支持查询hudi表,并可以实现hudi表与hive表的联合查询, 同时对原有hive相关服务没有太大影响. 阅读全文

摘要： 本文主要介绍了下Uber的开源项目jvm-profiler的产生背景,设计原理以及架构, 后面也设计了一套落地方案,用于采集spark、hive任务的资源消耗相关指标,可用于后续分析以及资源调优. 阅读全文

摘要： 本文主要针对日志数据接入数据仓库场景进行设计, 同时介绍了下在设计接入时的一些细节,针对可能出现的问题进行必要的处理. 阅读全文

摘要： 本文主要根据平台用户平常提交的spark任务思考,调研引入Dr. Elephant, 通过阅读Dr 相关源码, 明白Dr 执行整体流程并对代码进行改造,适配我们的需求.最终转变为平台产品来对用户的Spark任务进行诊断并给出相关调优建议. 阅读全文

摘要： 本文主要介绍如何基于log4j appender自定义扩展实现大数据平台任务日志采集. 阅读全文