慕容尘轩 - 博客园

2025年5月7日

摘要：场景：我们在写java代码或者其他程序的时候debug是家常便饭，如果不会排错不会debug，那么你就需要继续努力了。今天咱们来介绍下kettle的如何debug。 1、添加插件老规矩，我们将插件kettle-debug-plugin放到kettle的plugins目录下面，然后重启spoon。阅读全文

posted @ 2025-05-07 22:28 慕容尘轩阅读(129) 评论(0) 推荐(0)

kettle插件-ClickHouse插件

摘要：场景：今天vip小伙伴群里发问题：自己的kettle 7.1版本无法支持数据同步到ClickHouse数据库，群里两位老师也是及时给予指导，换高点的版本或者使用我们自行研发的插件。总之问题在vip群里会被秒杀，哈哈哈。废话少说，开始盘它。 1、拉取clickhouse镜像 docker pull 阅读全文

posted @ 2025-05-07 22:27 慕容尘轩阅读(352) 评论(1) 推荐(0)

kettle插件-postgressql cdc插件

摘要：今天是清明节，放假第一天也不得清闲。上午整理公司的交付文档，中午陪孩子户外骑行踏青，下午趁着休息的时间给老铁们讲下如何使用postgressql cdc插件来实时捕获数据。注：CDC (Change Data Capture) 是一种技术，用于实时捕获和同步数据库中的更改。 1、基于docker搭阅读全文

posted @ 2025-05-07 22:27 慕容尘轩阅读(204) 评论(0) 推荐(0)

kettle从入门到精通第九十六课 ETL之kettle Elasticsearch 增删改查彻底掌握

摘要：场景：群里有小伙伴咨询kettle从Elasticsearch中抽取数据，群里老师们纷纷响应，vip小伙伴是不是有中受宠若惊的感觉。今天我们使用kettle通过es的原生rest接口来进行操作es，开整。前提：本篇文章基于elasticsearch:7.17.9版本进行测试，在 Elastic 阅读全文

posted @ 2025-05-07 22:22 慕容尘轩阅读(244) 评论(0) 推荐(0)

2025年5月1日

kettle从入门到精通第九十五课 ETL之kettle kettle拉取企业微信打卡数据，强大且优雅

摘要：场景：有小伙伴私聊我咨询使用kettle获取企业微信打卡数据，最近工作比较忙，只能趁着晚上的时候给小伙伴解决问题，不过通过kettle获取企业微信打卡记录还是有一定难度的，有难度才有挑战，盘它！ 1、了解企业微信接口所谓知己知彼，百战不殆。看了下企业微信的接口大概分为两类： 1）通过corpI 阅读全文

posted @ 2025-05-01 22:54 慕容尘轩阅读(145) 评论(0) 推荐(0)

2025年4月1日

kettle从入门到精通第九十四课 ETL之kettle MySQL Bulk Loader大批量高性能数据写入

摘要： 1、在使用kettle时如果对表输出性能要求，可以考虑用mysql 批量加载步骤，该步骤可以实现每秒5万+的数据同步（该数据仅是基于我本人的笔记本，若是服务器则效率更高），如下图所示： 2、原理知其然知其所以然，之所以MySQL Bulk Loader速度如此之快是因为MySQL 批量加载器使用“ 阅读全文

posted @ 2025-04-01 21:57 慕容尘轩阅读(268) 评论(0) 推荐(0)

2025年3月29日

kettle从入门到精通第九十三课 ETL之kettle kettle 调用web service接口5种方法，一文彻底搞懂

摘要：场景：群里有小伙伴向我求助如何调用web service接口，趁着周末时间，给兄弟们搞demo。 1、本次使用的web service服务接口地址是http://ws.webxml.com.cn/WebServices/WeatherWS.asmx?op=getSupportCityDataset，阅读全文

posted @ 2025-03-29 21:46 慕容尘轩阅读(647) 评论(0) 推荐(0)

2025年3月26日

kettle插件-mysql8数据库插件

摘要：场景：群里有小伙伴反馈kettle 7.x版本不能自动连接mysql8，安排！！！ 1、将mysql8的驱动包mysql-connector-java-8.0.20.jar丢到kettle的lib目录下，重启spoon。 2、配置数据库连接，提示驱动类不对，没有正确使用我们的mysql8的驱动。如下阅读全文

posted @ 2025-03-26 21:52 慕容尘轩阅读(285) 评论(0) 推荐(0)

2025年3月23日

Kettle 版本这么多，到底该怎么选？

摘要： Kettle（Pentaho Data Integration）作为一款功能强大的开源 ETL（Extract, Transform, Load，即数据抽取、转换和加载）工具，拥有众多版本，这让许多用户在选择时犯了难。 1、提出问题经常有群友提出使用kettle版本的问题，如下图所示： 2、ket 阅读全文

posted @ 2025-03-23 20:39 慕容尘轩阅读(691) 评论(1) 推荐(0)

kettle插件-dm达梦数&人大金仓&Vastbase数据库插件

摘要：在国家大力倡导原创技术、推动信息技术应用创新（信创）的政策背景下，摆脱对国外技术的依赖、构建自主可控的信息技术体系成为重要发展方向。大数据作为信息技术的重要组成部分，国产大数据技术和产品迎来了前所未有的发展机遇。信创旨在实现核心技术自主可控，保障国家信息安全，因此国产数据库、数据处理工具等大数据相阅读全文

posted @ 2025-03-23 11:05 慕容尘轩阅读(392) 评论(0) 推荐(0)

公告