摘要：# **第1章 CDC简介** ## 1.1 什么是CDC CDC是Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 ## 1 阅读全文

摘要：第五章 DataStream API Flink有非常灵活的分层 API设计，其中的核心层就是 DataStream/DataSet API。由于**新版本已经实现了流批一体， DataSet API将被弃用，官方推荐统一使用 DataStream API处理流数据和批数据。**由于内容较多，我们将 阅读全文

摘要：第四章 Flink运行时架构 4.1 系统架构 4.1.1 整体构成 Flink 的运行时架构中，最重要的就是两大组件：作业管理器（JobManger）和任务管理器（TaskManager）。对于一个提交执行的作业，JobManager 是真正意义上的“管理者”（Master）， 负责管理调度，所以 阅读全文

摘要：第一章 初识Flink Flink 是 Apache 基金会旗下的一个开源大数据处理框架。目前，Flink 已经成为各大公司大数据实时处理的发力重点，特别是国内以阿里为代表的一众互联网大厂都在全力投入，为Flink 社区贡献了大量源码。如今 Flink 已被很多人认为是大数据实时处理的方向和未来，许 阅读全文