数据接入定义

1.数据接入定义：

 

 

CDC：change data capture，即变化数据捕捉。CDC是指从源数据库捕获到数据和数据结构(也称为模式)的增量变更，近乎实时地将这些变更，传播到其他数据库或应用程序之处。通过这种方式，CDC能够向数据仓库提供高效、低延迟的数据传输，以便信息被及时转换并交付给专供分析的应用程序。

原始数据可以通过脚本手动创建数据发送到数据源，后面会写出手动创建数据的流程。

此处数据源所用的是kafka数据源。

Kafka是一种高吞吐量的分布式发布订阅消息系统，用户通过Kafka系统可以发布大量的消息，同时也能实时订阅消费消息。Kafka可以同时满足在线实时处理和批量离线处理。

1.Broker：Kafka集群包含一个或多个服务器，这种服务器被称为broker。通常kafka安装在单个主机上成为单机，多个机器上成为集群，创建kafka数据源是要填写服务器与接口，多个服务器时用英文逗号隔开。

2.Topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。Topic可作为数据接入kafka的“标识”。

相关文章：

1.简单理解什么是数据库CDC？（以mysql为例）https://www.cnblogs.com/schoolbag/p/13385669.html

2.CDC是个啥，它是如何工作的？https://baijiahao.baidu.com/s?id=1709210672508048073&wfr=spider&for=pc

3.什么是变更数据捕获 (CDC)？https://docs.microsoft.com/zh-cn/sql/relational-databases/track-changes/about-change-data-capture-sql-server?redirectedfrom=MSDN&view=sql-server-ver15

4.高级数据源---Kafka：https://www.cnblogs.com/nxf-rabbit75/p/12028371.html

5.storm上游数据源 之kafka详解（一）入门与集群安装：https://www.cnblogs.com/jiangbei/p/8537625.html