随笔分类 -  ETL项目

SeaTunnel(2.3.12)的高级用法(三):目标库(PostgreSQL)的DEMO
摘要:SeaTunnel(2.3.12)的高级用法(三):目标库(PostgreSQL)的DEMO 目标库默认是:PostgreSql_18.1。docker安装点这里 源头库用的是mysql:pgsql官方文档:https://seatunnel.apache.org/zh-CN/docs/connec 阅读全文

posted @ 2025-12-18 14:44 C_C_菜园 阅读(21) 评论(0) 推荐(0)

SeaTunnel(2.3.12)的高级用法(一):SeaTunnel的核心能力总结
摘要:seatunnel:抽取数据的引擎 SeaTunnel Zeta(本地引擎) Spark(集群) Flink(集群) seatunnel:执行命令 参数 解释 备注 JAVA_OPTS='-Xmx2g -Xms2g' 设置本次运行的内存大小 AI给我设的,好像也生效了 -DJvmOption="-X 阅读全文

posted @ 2025-12-18 13:43 C_C_菜园 阅读(28) 评论(0) 推荐(0)

SeaTunnel(2.3.12)和Datax(3.0)对比
摘要:好的对比文章: https://cloud.tencent.com/developer/article/2401413 对比项 Apache SeaTunnel DataX Apache Sqoop Apache Flume Flink CDC 部署难度 容易 容易 中等,依赖于 Hadoop 生态 阅读全文

posted @ 2025-12-18 10:58 C_C_菜园 阅读(157) 评论(0) 推荐(0)

Docker安装Postgresql(18.1)
摘要:Docker安装Postgresql 手动下载镜像(自己服务器无法拉取镜像的情况下) # 在一台可以拉取镜像的服务器拉取,然后打包到要加载的服务器 docker pull postgers:latest docker save -o /data/docker/images/postgres.tar 阅读全文

posted @ 2025-12-18 10:54 C_C_菜园 阅读(82) 评论(0) 推荐(0)

SeaTunnel(2.3.12)的高级用法(二):CDC(实时增量采集)MySQL-CDC、Postgresql-CDC
摘要:一、实时增量采集-变更数据捕获(CDC)(datax没有的功能) mysql-cdc官方文档:https://seatunnel.apache.org/zh-CN/docs/2.3.3/connector-v2/source/MySQL-CDC/ cdc可以一个seatunnel的cdc任务监控多个 阅读全文

posted @ 2025-12-17 16:05 C_C_菜园 阅读(74) 评论(1) 推荐(0)

SeaTunnel(2.3.12)部署及其Demo(含CDC实时采集demo)
摘要:SeaTunnel部署及其Demo 从上图可以看出seatunnel的conf(执行命令文件),主要是source、transform、sink组成 📥 Source(数据源):作用:从各种数据源读取数据 🔄 Transform(数据转换):作用:对数据进行清洗、转换、加工 📤 Sink(数据 阅读全文

posted @ 2025-12-11 15:50 C_C_菜园 阅读(302) 评论(0) 推荐(2)

海豚调度_DolphinScheduler(3.3.2)+ Datax_3.0 + SeaTunnel_2.3.12 + DEMO演示
摘要:一、海豚调度(DolphinScheduler_3.3.2)的使用 DAG --有向无环图,有顺序,但是不会形成环的图表。 海豚调度的API接口:http://YOURID:12345/dolphinscheduler/swagger-ui/index.html 参考 https://blog.cs 阅读全文

posted @ 2025-12-08 15:21 C_C_菜园 阅读(340) 评论(0) 推荐(0)

部署:海豚调度(DolphinScheduler部署)(单机Standalone部署)-3.3.2(非稳定版)
摘要:海豚调度(DolphinScheduler)部署——Standalone 版本:3.3.2是最新版(本文使用的)。稳定版本是 3.1.9 DolphinScheduler是2019年中国易观公司开源的一个调度系统。目前是apache顶级项目之一 官网:https://dolphinscheduler 阅读全文

posted @ 2025-12-03 15:07 C_C_菜园 阅读(599) 评论(2) 推荐(0)

(未完待续……)DataX3.0部署、演示Demo
摘要:1、部署 拉取代码,自己编译(不用全量包,也不需要全量包) github源码: https://github.com/alibaba/DataX 打包好了的: https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202309/datax.tar 阅读全文

posted @ 2025-11-26 16:40 C_C_菜园 阅读(314) 评论(0) 推荐(0)

导航