随笔分类 -  CDC实战系列教程

DB CDC(Change Data Capture)： CDC全称是Change Data Capture，是一种捕获增量数据的技术统称，目前主要应用在捕获数据库数据变更的技术。在数据备份容灾、数据分发、面向数仓的数据集成等场景中广泛应用。
centos7安装Elasticsearch Service Sink Connector【CDC实战系列十】
摘要：简介：数据同步技术（此处指CDC）发展迅速，目前主流的同步技术是使用Confluen-platform，他基于Kafaka开发，包含你能想到的任何组件。核心是kafka connect，kafka connect 通过两种类型的连接器工作： 源连接器——摄取整个数据库并将表更新流式传输到 Kafka 阅读全文
posted @ 2025-11-04 17:29 下午喝什么茶 阅读(32) 评论(1) 推荐(0)
CDC实战：MySQL实时同步数据到Elasticsearch之date、decimal、经纬度如何处理【CDC实战系列十一】
摘要：1、date日期处理：需求：Mysql是datetime类型，时区utc+8，同步数据到es，映射到es的index的mapping是date,格式呢可以是时间戳，也可以是yyyy-MM-dd HH:mm:SS这样的格式化后的可读性较强的时间类型这个我已经再前面的文章中说过了，点击查看最后面，就不在 阅读全文
posted @ 2025-11-04 17:23 下午喝什么茶 阅读(29) 评论(0) 推荐(0)
CDC实战：MySQL实时同步数据到Elasticsearch之数组集合(array)如何处理【CDC实战系列十二】
摘要：需求背景： mysql存储的一个字段，需要同步到elasticsearch，并存储为数组，以便于查询。 如下例子，就是查询预期。 PUT /t_test_1/_doc/1 { "name":"苹果", "code":[1,2,3] } PUT /t_test_1/_doc/2 { "name":"香 阅读全文
posted @ 2024-03-26 10:18 下午喝什么茶 阅读(430) 评论(0) 推荐(1)