原创:Docker Desktop容器化部署Zookeeper、Kafka、Debezium-Connect、Kettle四部曲基于Mysql Binlog监听,实现数据实时增量同步
原创:容器化部署Zookeeper、Kafka、Debezium-Connect、Kettle四部曲基于Mysql Binlog监听,实现数据实时增量同步
注意:大型或超大型大数据项目建议此方案(单独部署四部曲),中小型每天万条数据以下,建议直接使用Kettle基于Debezium插件轻量级实现。
环境:WINDOWS10、Docker Desktop
1、分别部署Zookeeper、Kafka、Debezium-Connect、Kettle(建议部署在同一网络中:可提前创建一新网络)
2、确保每个容器启动正常
3、确保容器之间均可访问:保证网络畅通
4、允许自动创建主题
5、Debezium-Connect配置:必须保证15项默认配置值均正确
6、测试主题中消息生产、消息消费正常
7、确认Debezium-Connect已连接到Mysql并监听到了Binlog
8、Kettle添加Kafka插件,配置Kafka连接
9、JSON变更解析
10、字段绑定
11、操作分流入库