摘要：
1、下载DolphinScheduler DolphinScheduler官网下载安装包，选择合适的版本进行下载，地址为 https://dolphinscheduler.apache.org/zh-cn/docs/3.1.9/guide/installation/standalone 2、启动 D 阅读全文
posted @ 2025-07-12 21:46
慕容尘轩
阅读(123)
评论(0)
推荐(0)
摘要：
场景： 最近VIP群里面有小伙伴在使用apache doris遇到了一些问题，使用原生表输出步骤写doris数据库速度非常慢，体验非常不好。 我们团队老师里面将doris批量加载插件丢到群里面火速支援小伙伴，但是依然有小伙伴之前没接触过doris，使用插件时可能不太顺利。今天抽时间将此插件梳理下供小 阅读全文
posted @ 2025-05-07 22:29
慕容尘轩
阅读(826)
评论(0)
推荐(0)
摘要：
场景：我们在写java代码或者其他程序的时候debug是家常便饭，如果不会排错不会debug，那么你就需要继续努力了。今天咱们来介绍下kettle的如何debug。 1、添加插件 老规矩，我们将插件kettle-debug-plugin放到kettle的plugins目录下面，然后重启spoon。 阅读全文
posted @ 2025-05-07 22:28
慕容尘轩
阅读(101)
评论(0)
推荐(0)
摘要：
场景：今天vip小伙伴群里发问题：自己的kettle 7.1版本无法支持数据同步到ClickHouse数据库，群里两位老师也是及时给予指导，换高点的版本或者使用我们自行研发的插件。 总之问题在vip群里会被秒杀，哈哈哈。废话少说，开始盘它。 1、拉取clickhouse镜像 docker pull 阅读全文
posted @ 2025-05-07 22:27
慕容尘轩
阅读(290)
评论(1)
推荐(0)
摘要：
今天是清明节，放假第一天也不得清闲。上午整理公司的交付文档，中午陪孩子户外骑行踏青，下午趁着休息的时间给老铁们讲下如何使用postgressql cdc插件来实时捕获数据。 注：CDC (Change Data Capture) 是一种技术，用于实时捕获和同步数据库中的更改。 1、基于docker搭 阅读全文
posted @ 2025-05-07 22:27
慕容尘轩
阅读(159)
评论(0)
推荐(0)
摘要：
场景： 群里有小伙伴咨询kettle从Elasticsearch中抽取数据，群里老师们纷纷响应，vip小伙伴是不是有中受宠若惊的感觉。 今天我们使用kettle通过es的原生rest接口来进行操作es，开整。 前提：本篇文章基于elasticsearch:7.17.9版本进行测试，在 Elastic 阅读全文
posted @ 2025-05-07 22:22
慕容尘轩
阅读(201)
评论(0)
推荐(0)
摘要：
场景： 有小伙伴私聊我咨询使用kettle获取企业微信打卡数据，最近工作比较忙，只能趁着晚上的时候给小伙伴解决问题，不过通过kettle获取企业微信打卡记录还是有一定难度的， 有难度才有挑战，盘它！ 1、了解企业微信接口 所谓知己知彼，百战不殆。看了下企业微信的接口大概分为两类： 1）通过corpI 阅读全文
posted @ 2025-05-01 22:54
慕容尘轩
阅读(129)
评论(0)
推荐(0)
摘要：
1、在使用kettle时如果对表输出性能要求，可以考虑用mysql 批量加载步骤，该步骤可以实现每秒5万+的数据同步（该数据仅是基于我本人的笔记本，若是服务器则效率更高），如下图所示： 2、原理 知其然知其所以然，之所以MySQL Bulk Loader速度如此之快是因为MySQL 批量加载器使用“ 阅读全文
posted @ 2025-04-01 21:57
慕容尘轩
阅读(226)
评论(0)
推荐(0)
摘要：
场景：群里有小伙伴向我求助如何调用web service接口，趁着周末时间，给兄弟们搞demo。 1、本次使用的web service服务接口地址是http://ws.webxml.com.cn/WebServices/WeatherWS.asmx?op=getSupportCityDataset， 阅读全文
posted @ 2025-03-29 21:46
慕容尘轩
阅读(532)
评论(0)
推荐(0)
摘要：
场景：群里有小伙伴反馈kettle 7.x版本不能自动连接mysql8，安排！！！ 1、将mysql8的驱动包mysql-connector-java-8.0.20.jar丢到kettle的lib目录下，重启spoon。 2、配置数据库连接，提示驱动类不对，没有正确使用我们的mysql8的驱动。如下 阅读全文
posted @ 2025-03-26 21:52
慕容尘轩
阅读(250)
评论(0)
推荐(0)
浙公网安备 33010602011771号