streamsets data collector是什么?

todo
草稿
背景:
如果有这样的需求:
你需要把mysql某个表中的数据实时同步到kafka。
你需要把mysql某个表的数据实时同步到hive。

概念学习

sdc: streamsets data collector
cdc: change data capture
cdh: Cloudera’s Distribution Including Apache Hadoop。

streamsets data collector

https://docs.streamsets.com/portal/datacollector/3.16.x/help/datacollector/UserGuide/Getting_Started/GettingStarted_Title.html#concept_htw_ghg_jq
概念介绍:
pipelines
job

sdc.operation.type

1 新增
2 删除
3 修改
在这里插入图片描述

posted @ 2022-11-05 20:40  叶常落  阅读(39)  评论(0)    收藏  举报  来源