摘要：SeaTunnel(2.3.12)的高级用法（三）：目标库(PostgreSQL)的DEMO 目标库默认是：PostgreSql_18.1。docker安装点这里 源头库用的是mysql：pgsql官方文档：https://seatunnel.apache.org/zh-CN/docs/connec 阅读全文

摘要：seatunnel：抽取数据的引擎 SeaTunnel Zeta(本地引擎) Spark（集群） Flink（集群） seatunnel：执行命令 参数 解释 备注 JAVA_OPTS='-Xmx2g -Xms2g' 设置本次运行的内存大小 AI给我设的，好像也生效了 -DJvmOption="-X 阅读全文

摘要：好的对比文章： https://cloud.tencent.com/developer/article/2401413 对比项 Apache SeaTunnel DataX Apache Sqoop Apache Flume Flink CDC 部署难度 容易 容易 中等，依赖于 Hadoop 生态 阅读全文

摘要：Docker安装Postgresql 手动下载镜像（自己服务器无法拉取镜像的情况下） # 在一台可以拉取镜像的服务器拉取，然后打包到要加载的服务器 docker pull postgers:latest docker save -o /data/docker/images/postgres.tar 阅读全文

摘要：一、实时增量采集-变更数据捕获（CDC）（datax没有的功能） mysql-cdc官方文档：https://seatunnel.apache.org/zh-CN/docs/2.3.3/connector-v2/source/MySQL-CDC/ cdc可以一个seatunnel的cdc任务监控多个 阅读全文

摘要：SeaTunnel部署及其Demo 从上图可以看出seatunnel的conf(执行命令文件)，主要是source、transform、sink组成 📥 Source（数据源）：作用：从各种数据源读取数据 🔄 Transform（数据转换）：作用：对数据进行清洗、转换、加工 📤 Sink（数据 阅读全文

摘要：一、海豚调度（DolphinScheduler_3.3.2）的使用 DAG --有向无环图，有顺序，但是不会形成环的图表。 海豚调度的API接口：http://YOURID:12345/dolphinscheduler/swagger-ui/index.html 参考 https://blog.cs 阅读全文

摘要：海豚调度（DolphinScheduler）部署——Standalone 版本：3.3.2是最新版（本文使用的）。稳定版本是 3.1.9 DolphinScheduler是2019年中国易观公司开源的一个调度系统。目前是apache顶级项目之一 官网：https://dolphinscheduler 阅读全文

摘要：1、部署 拉取代码，自己编译（不用全量包，也不需要全量包） github源码: https://github.com/alibaba/DataX 打包好了的： https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202309/datax.tar 阅读全文