原创:Docker Desktop容器化部署Zookeeper、Kafka、Debezium-Connect、Kettle四部曲基于Mysql Binlog监听,实现数据实时增量同步

原创:容器化部署Zookeeper、Kafka、Debezium-Connect、Kettle四部曲基于Mysql Binlog监听,实现数据实时增量同步

注意:大型或超大型大数据项目建议此方案(单独部署四部曲),中小型每天万条数据以下,建议直接使用Kettle基于Debezium插件轻量级实现。

环境:WINDOWS10、Docker Desktop

1、分别部署Zookeeper、Kafka、Debezium-Connect、Kettle(建议部署在同一网络中:可提前创建一新网络)

2、确保每个容器启动正常

3、确保容器之间均可访问:保证网络畅通

4、允许自动创建主题

5、Debezium-Connect配置:必须保证15项默认配置值均正确

6、测试主题中消息生产、消息消费正常

7、确认Debezium-Connect已连接到Mysql并监听到了Binlog

8、Kettle添加Kafka插件,配置Kafka连接

9、JSON变更解析

10、字段绑定

11、操作分流入库

 

posted @ 2025-06-26 09:40  BigDataETL-恒速齿轮  阅读(44)  评论(0)    收藏  举报