C_C_菜园 - 博客园

[置顶] SeaTunnel(2.3.12)部署及其Demo(含CDC实时采集demo)

摘要： SeaTunnel部署及其Demo 从上图可以看出seatunnel的conf(执行命令文件)，主要是source、transform、sink组成 📥 Source（数据源）：作用：从各种数据源读取数据 🔄 Transform（数据转换）：作用：对数据进行清洗、转换、加工 📤 Sink（数据阅读全文

posted @ 2025-12-11 15:50 C_C_菜园阅读(317) 评论(0) 推荐(2)

[置顶] 海豚调度_DolphinScheduler(3.3.2)+ Datax_3.0 + SeaTunnel_2.3.12 + DEMO演示

摘要：一、海豚调度（DolphinScheduler_3.3.2）的使用 DAG --有向无环图，有顺序，但是不会形成环的图表。海豚调度的API接口：http://YOURID:12345/dolphinscheduler/swagger-ui/index.html 参考 https://blog.cs 阅读全文

posted @ 2025-12-08 15:21 C_C_菜园阅读(355) 评论(0) 推荐(0)

[置顶] 部署：海豚调度(DolphinScheduler部署)(单机Standalone部署)-3.3.2（非稳定版）

摘要：海豚调度（DolphinScheduler）部署——Standalone 版本：3.3.2是最新版（本文使用的）。稳定版本是 3.1.9 DolphinScheduler是2019年中国易观公司开源的一个调度系统。目前是apache顶级项目之一官网：https://dolphinscheduler 阅读全文

posted @ 2025-12-03 15:07 C_C_菜园阅读(671) 评论(2) 推荐(0)

[置顶] （未完待续……）DataX3.0部署、演示Demo

摘要： 1、部署拉取代码，自己编译（不用全量包，也不需要全量包） github源码: https://github.com/alibaba/DataX 打包好了的： https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202309/datax.tar 阅读全文

posted @ 2025-11-26 16:40 C_C_菜园阅读(315) 评论(0) 推荐(0)

[置顶] SpringBoot自定义cron表达式注册定时任务

摘要： springBoot自定义cron表达式注册定时任务一、原理 1、使用Spring自带的TaskScheduler注册任务 2、注册后返回：ScheduledFuture，用于取消定时任务 3、注册任务后不会马上取消任务，所以将任务缓存。在需要取消任务的时候调用取消接口取消 4、cron表达式可以阅读全文

posted @ 2023-04-21 16:51 C_C_菜园阅读(1144) 评论(0) 推荐(1)

[置顶] Java构建树结构的公共方法

摘要：一、前提 pId需要传入用来确认第一级的父节点，而且pId可以为null。树实体类必须实现：TreeNode接口 MyTreeVo必须有这三个属性：id、pId、children 可以根据不同需求，配置TreeNode和MyTreeVo中固定的属性二、代码定义TreeNode接口 public 阅读全文

posted @ 2023-04-12 16:35 C_C_菜园阅读(590) 评论(4) 推荐(3)

海豚调度DolphinScheduler 和 Spring Cloud Data Flow 对比

摘要： Spring Cloud Data Flow Spring Cloud Data Flow是一个基于Spring Boot和Spring Cloud的开源框架，旨在简化云原生环境中数据流处理和批处理任务的开发、部署与管理。它提供了一种统一的编程和操作模型，用于编排可组合的数据微服务，支持在Cloud 阅读全文

posted @ 2025-12-30 16:22 C_C_菜园阅读(92) 评论(0) 推荐(0)

Java设计模式-策略模式-增强

摘要：原来的简单策略模式 Java设计模式-策略模式-基于Spring实现：https://www.cnblogs.com/kakarotto-chen/p/17761621.html 一、工厂模式分开处理不同的策略模式（最终推荐）问题：以后把所有策略类型都写在这个工厂【原来的策略实现】，有二三十种不阅读全文

posted @ 2025-12-25 15:57 C_C_菜园阅读(15) 评论(0) 推荐(0)

AI大模型排行网址、各大AI平台网址

摘要： AI大模型排行网址 https://cheniit.com/chatgpt/ai大模型排行榜网站汇总/ https://lmarena.ai/zh/leaderboard https://superclueai.com/homepage 各大AI平台网址名字网址公司 DeepSeek http 阅读全文

posted @ 2025-12-24 00:18 C_C_菜园阅读(23) 评论(0) 推荐(0)

Java单元测试、集成测试，区别

摘要： 📚 单元测试 vs 集成测试 1. 单元测试（Unit Test）定义：测试最小代码单元（通常是一个方法或类），隔离所有外部依赖。特点：测试单个类/方法所有依赖都用Mock代替不启动Spring容器运行极快（毫秒级）数量最多示例： // 测试OrderService的calcula 阅读全文

posted @ 2025-12-23 10:58 C_C_菜园阅读(176) 评论(0) 推荐(0)

Spring用构造函数注入，别用：@Autowired或者@Resource的字段注入了

摘要：引子问题：使用@Autowired注入spring的bean报警告：Field injection is not recommended。为什么以前大家都在用，现在突然要改？这背后有几个重要原因： 📅 历史背景与演进 1. 早期为什么流行Field注入？ // 2010-2015年常见的写法（阅读全文

posted @ 2025-12-23 10:53 C_C_菜园阅读(72) 评论(0) 推荐(0)

SeaTunnel(2.3.12)的高级用法（三）：目标库(PostgreSQL)的DEMO

摘要： SeaTunnel(2.3.12)的高级用法（三）：目标库(PostgreSQL)的DEMO 目标库默认是：PostgreSql_18.1。docker安装点这里源头库用的是mysql：pgsql官方文档：https://seatunnel.apache.org/zh-CN/docs/connec 阅读全文

posted @ 2025-12-18 14:44 C_C_菜园阅读(25) 评论(0) 推荐(0)

SeaTunnel(2.3.12)的高级用法（一）：SeaTunnel的核心能力总结

摘要： seatunnel：抽取数据的引擎 SeaTunnel Zeta(本地引擎) Spark（集群） Flink（集群） seatunnel：执行命令参数解释备注 JAVA_OPTS='-Xmx2g -Xms2g' 设置本次运行的内存大小 AI给我设的，好像也生效了 -DJvmOption="-X 阅读全文

posted @ 2025-12-18 13:43 C_C_菜园阅读(37) 评论(0) 推荐(0)

SeaTunnel(2.3.12)和Datax(3.0)对比

摘要：好的对比文章： https://cloud.tencent.com/developer/article/2401413 对比项 Apache SeaTunnel DataX Apache Sqoop Apache Flume Flink CDC 部署难度容易容易中等，依赖于 Hadoop 生态阅读全文

posted @ 2025-12-18 10:58 C_C_菜园阅读(166) 评论(0) 推荐(0)

Docker安装Postgresql（18.1）

摘要： Docker安装Postgresql 手动下载镜像（自己服务器无法拉取镜像的情况下） # 在一台可以拉取镜像的服务器拉取，然后打包到要加载的服务器 docker pull postgers:latest docker save -o /data/docker/images/postgres.tar 阅读全文

posted @ 2025-12-18 10:54 C_C_菜园阅读(107) 评论(0) 推荐(0)

SeaTunnel(2.3.12)的高级用法（二）：CDC（实时增量采集）MySQL-CDC、Postgresql-CDC

摘要：一、实时增量采集-变更数据捕获（CDC）（datax没有的功能） mysql-cdc官方文档：https://seatunnel.apache.org/zh-CN/docs/2.3.3/connector-v2/source/MySQL-CDC/ cdc可以一个seatunnel的cdc任务监控多个阅读全文

posted @ 2025-12-17 16:05 C_C_菜园阅读(84) 评论(2) 推荐(0)

kakarotto-chen