摘要： 1. DPDI简介 DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计 2. DPDI使用 2.1 DPDI登录 2.2 DPDI核心功能 2.2.1 工作台 DPDI online首页主要是显示任务监控信 阅读全文

摘要： 再谈kettle两种循环之 – 调用http分页接口循环获取数据 1.场景介绍： 由于数据量比较大,接口有返回限制,需要用到循环分页获取数据 2.案例适用范围： 循环job可参考，变量运用可参考，调用http分页接口循环获取数据可参考，生成连续记录可参考，MD5加密可参考 3.整个job设置如下设计 阅读全文

摘要： kettle是一款基于java开发的洗数工具，可以通过图像化的操作界面，拖拉拽的操作方式，实现数据导入导出清洗等功能，还支持编写脚本进行数据处理，功能十分强大。 本文主要记录一下kettle各版本下载路径 kettle版本下载 阅读全文

摘要： ** 本文主要介绍运用kettle实时增量同步mysql数据 ** Debezium介绍 官网地址：https://debezium.io/documentation/ Debezium是一个开源项目，为捕获数据更改(Capture Data Change,CDC)提供了一个低延迟的流式处理平台，通 阅读全文

摘要： 背景： Pentaho Data Integration（kettle）作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix，linux平台)和计划任务(Windows平台)来完成调 阅读全文

摘要： mysql日期格式说明 %a:缩写星期名 %b:缩写月名 %c:月，数值 %D:带有英文前缀的月中的天 %d:月的天，数值(00-31) %e:月的天，数值(0-31) %f:微秒 %H:小时(00-23) %h:小时(01-12) %I:小时(01-12) %i:分钟，数值(00-59) %j:年 阅读全文

摘要： Script Values/Mod JavaScript 代码介绍 JavaScript 代码步骤提供了一个用户界面，用户可以编写 JavaScript 代码到脚本区，脚本区域中的每一行代码都会执行一次，该步骤具有两个窗格和一个表 Step name：步骤的名称，在单一转换中，名称必须唯一 Java 阅读全文

摘要： Return steps metrics转换步骤信息统计介绍 转换步骤信息统计步骤可以用于统计当前转换中的其它步骤信息，包括步骤执行后的输入行数、输入行数、读入行数、更新行数等。此步骤可以直接拖入转换中，不需要连接其它步骤，手动填写需要进行统计的步骤名称即可 General标签页 Step name 阅读全文

摘要： REST Client介绍 REST 客户端转换步骤可以消费 RESTful 服务。RESTful 是一种网络应用程序的设计风格和开发方式，基于 HTTP，可以使用 XML 格式定义或 JSON 格式定义。在该体系中 Web 服务被视为资源并且可以通过其 URL 进行标识，该步骤有常规、认证、SSL 阅读全文

摘要： Abort中止介绍 中止步骤用于读取指定行数之后停止读取剩余行数，可以用于调试转换 Step Name：步骤的名称，在单一的转换中，名称必须唯一Abort threshold：指定行数，转换读取到指定行数的后一行，就停止读取剩余行集数据Abort message：指定信息内容，中止读取行集数据之后以 阅读全文