慕容尘轩 - 博客园

2025年3月23日

摘要： Kettle（Pentaho Data Integration）作为一款功能强大的开源 ETL（Extract, Transform, Load，即数据抽取、转换和加载）工具，拥有众多版本，这让许多用户在选择时犯了难。 1、提出问题经常有群友提出使用kettle版本的问题，如下图所示： 2、ket 阅读全文

posted @ 2025-03-23 20:39 慕容尘轩阅读(562) 评论(0) 推荐(0)

kettle插件-dm达梦数&人大金仓&Vastbase数据库插件

摘要：在国家大力倡导原创技术、推动信息技术应用创新（信创）的政策背景下，摆脱对国外技术的依赖、构建自主可控的信息技术体系成为重要发展方向。大数据作为信息技术的重要组成部分，国产大数据技术和产品迎来了前所未有的发展机遇。信创旨在实现核心技术自主可控，保障国家信息安全，因此国产数据库、数据处理工具等大数据相阅读全文

posted @ 2025-03-23 11:05 慕容尘轩阅读(343) 评论(0) 推荐(0)

kettle插件-rabbitmq插件

摘要：场景：kettle本身可以直接链接rabbitmq，但是需要配置rabbitmq开启mqtt协议，本次讲解下自定义开发组件RabbitMQ consumer，无需开启mqtt协议即可使用。 1、docker 安装rabbitmq 1）下载镜像 docker pull rabbitmq 2）启动服务阅读全文

posted @ 2025-03-23 11:02 慕容尘轩阅读(134) 评论(0) 推荐(0)

kettle插件-拼音声调繁体简体转换插件

摘要：今天群里来了一位台湾同胞，没想到台湾同胞用的是繁体字，群里的小伙伴不淡定了，表示有些字看不懂。看不懂没关系，今天介绍的插件帮你解决这个问题。安排！！！ 1、老规矩将插件kettle-plugin-pinyin放到kettle的plugins目录下，重启spoon客户端。 2、开始编写转换demo，阅读全文

posted @ 2025-03-23 10:58 慕容尘轩阅读(55) 评论(0) 推荐(0)

2025年3月5日

kettle插件-高性能插入更新插件Upsert

摘要：场景：假如T日需要将a表中T-1日的数据同步到b表。由于某种业务需求a表中已经同步到b表中的数据发生了变化需要重新同步，这个时候就会用到插入更新插件，也就是说a表中数据重新同步b表，若b表中存在此数据（根据唯一id）则执行更新操作，否则执行插入操作。 1、软硬件环境本次教程基于本机docker版阅读全文

posted @ 2025-03-05 21:03 慕容尘轩阅读(294) 评论(0) 推荐(1)

2025年3月3日

kettle插件-git/svn版本管理插件

摘要：场景：大家都知道我们平时使用spoon客户端的时候时无法直接使用git的，给我们团队协作带来了一些小问题，需要我们本机单独安装git客户端进行手动上传trans或者job。我们团队成员倪老师开发了一款kettle的git插件，帮我们解决了这个大难题，大大方便了我们团队协作，今天一起来揭开这款插件的阅读全文

posted @ 2025-03-03 21:36 慕容尘轩阅读(117) 评论(0) 推荐(0)

2025年3月1日

kettle插件-自定义函数-数据脱敏

摘要：平常我们在使用kettle抽取数据的时候会涉及到敏感数据邀请脱敏或者进行掩码的需求，今天我们使用自定义函数插件来实现这些需求。 1、将自定义函数插件（kettle-func-plugin.zip）解压后放到kettle的plugins目录下面，然后重启服务。 2、启动spoon客户端，转换文件夹下找阅读全文

posted @ 2025-03-01 21:52 慕容尘轩阅读(198) 评论(0) 推荐(0)

2025年2月24日

kettle调度管理系统XXK-PDI，kettle调度好帮手

摘要：最近两天感冒了，而且莫名其妙的嗓子哑了好几天，心情很是不爽。周末两天啥也不想干，坐在电脑旁边继续手撕kettle调度系统。 1、其实之前有整理过kettle的调度方法，有很多种，根据自己的需求合理选择其中的一种，如下图所示： 2、kettlePack 应该是深度集成kettle，将kettle的核心阅读全文

posted @ 2025-02-24 18:04 慕容尘轩阅读(549) 评论(0) 推荐(0)

2025年2月17日

kettle从入门到精通第九十二课 ETL之kettle 使用Kettle的Carte对外发布读写接口

摘要：场景：使用kettle实现将查询结果返回给客户端，也就是说kettle暴露查询接口供外围系统调用。前提必须是使用carte服务才可以提供接口供外部系统调用。具体实操方法如下： 1、设计转换根据具体需求设计转换，主要用到的步骤有获取变量（从请求参数中获取变量）、json输入（解析入参），json 输阅读全文

posted @ 2025-02-17 21:44 慕容尘轩阅读(582) 评论(0) 推荐(0)

2025年1月24日

kettle从入门到精通第九十一课 ETL之kettle http接口下载文件流

摘要： 1、场景需求群里一位老朋友想通过http接口下载文件流，然后将文件流保存为文件存储到本地，如下图所示： 2、做过应用程序研发，对http知识有所了解的，结合对方发的postman截图，一眼就知道了接口的真实面目。接口返回的content-type是application/octet-stream且阅读全文

posted @ 2025-01-24 09:03 慕容尘轩阅读(300) 评论(0) 推荐(0)

公告