^王晓明^

摘要： ##一、 DataX为什么要使用插件机制？ 从设计之初，DataX就把异构数据源同步作为自身的使命，为了应对不同数据源的差异、同时提供一致的同步原语和扩展能力，DataX自然而然地采用了框架 + 插件 的模式： 插件只需关心数据的读取或者写入本身。 而同步的共性问题，比如：类型转换、性能、统计，则交 阅读全文

摘要： 本文主要记录对象存储组件Minio、数据湖组件Hudi及查询引擎Hive\Spark之间的兼容性配置及测试情况，Spark及Hive无需多言，这里简单介绍下Minio及Hudi。 MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。 它是与 Amazon S3 阅读全文

摘要： 最近在项目中遇到同步两个 CDH 数据文件的需求，调研了一圈，发现 datax 不支持两个 cdh 同时进行 kerberos 认证，因此切换到 chunjun，chunjun 在 kerberos 认证的配置这块，官网也没有详细的介绍案例，在查看源代码后，确定了配置项及各配置项的值，供大家参考 1 阅读全文