该文被密码保护。 阅读全文
posted @ 2023-02-17 15:48 耀阳居士 阅读(0) 评论(0) 推荐(0)
摘要: Debezium 1. 什么是Debezium Debezium是基于Apache License 2.0 协议的开源项目,是一个基于数据库日志(PostgreSQL的WAL,Mysql的binlog等)的CDC(change data capture)工具,以非侵入式的方式做数据库之间的数据同步。 阅读全文
posted @ 2023-02-17 14:04 耀阳居士 阅读(1628) 评论(0) 推荐(0)
摘要: 实时数仓的第一步便是变更数据捕获(CDC),Debezium就是一款功能非常强大的CDC工具。Debezium是构建于Kafka之上的,将捕获的数据实时的采集到Kafka上 Debezium监控MySQL 监控MySQL的前提是MySQL需要开启binlog日志哦 MySQL开启binlog MyS 阅读全文
posted @ 2023-02-17 14:03 耀阳居士 阅读(2398) 评论(0) 推荐(1)
摘要: CDC = Change Data Capture,是一种用以掌控数据变化的软件架构(或者再通俗一点:技术思路)。具体架构/思想背后会有不同的工程实现思路,本文我们就来深入理解一下。 更新历史 2022.08.27: 完成初稿 注:本文图片来自参考链接 1 何为 CDC CDC 这个名词应该大家都不 阅读全文
posted @ 2023-02-17 13:38 耀阳居士 阅读(844) 评论(0) 推荐(0)
摘要: 这篇文章是对 变更数据捕获 (CDC) 实践的介绍,而不是对特定工具的深入探讨。 假设我们正在构建一个简单的 Web 应用程序。在大多数情况下,此类项目从最小的数据架构开始。例如,像 MySQL 或 PostgreSQL 这样的关系数据库足以处理和存储许多用户可以使用的数据。他们输入查询,更新它们, 阅读全文
posted @ 2023-02-17 13:27 耀阳居士 阅读(3815) 评论(0) 推荐(1)