摘要： 1、在使用步骤【阻塞数据直到步骤都完成】（英文为Block this step until steps finish）之前，我们先来了解下什么是 Copy Nr？ Copy Nr是指 “副本编号” 或 “拷贝编号”，也就是下图中的复制的记录行数，图中的两个步骤复制的记录行数都是0，表示只有一个副本。 阅读全文

摘要： 1、上一节可讲解了如何将json数据写入pg数据库表中的json字段，虽然实现了效果，但若客户继续使用表输出步骤则仍然无法解决问题。 正确的的解决方式是设置数据库连接参数stringtype=unspecified 2、stringtype=unspecified 参数的作用： 当设置为 unspe 阅读全文

摘要： kettle将json字符串写入pg数据表中的json字段 阅读全文

摘要： 上一课我们讲解了如何将文件以二进制流的方式写入数据库，本节课我们一起学习下如何将二进制数据读取为文件。 1、将二进制流转换为文件这里主要用到了步骤【文本文件输出】。表输入步骤从表中读取blob字段，java代码定义二进制流转换为文件的全路径，文本文件输出步骤根据全路径和二进制流输出文件。如下图所示： 阅读全文

摘要： 前些日子一个小伙伴私聊我咨询如何将数据库中的BLOB字段读取为文件。帮他顺利读取文件之后我在想kettle肯定支持将文件写入数据库BLOB字段。今天先来一起学习下 如何将文件以二进制流的方式写进数据库。 1、创建数据表，脚本如下： CREATE TABLE `file` ( `id` bigint 阅读全文

摘要： 场景：kettle调用存储过程，存储过程中通过select * from table 方式返回结果集，kettle接收结果集。 解决方案：1）借助临时表。2）表输入步骤。今天主要讲解表输入。 1、创建一个无参存储过程，脚本中通过select * from t1 返回数据集。脚本如下： use tes 阅读全文

摘要： 1、群里有小伙伴询问kettle连接hive的demo，今天抽点时间整理下。其实kettle连接hive和连接mysql数据库也是一样的。 1）kettle中的lib目录下放hive驱动jar，这里我使用的是kyuubi-hive-jdbc-shaded-1.9.0.jar。 2）设置hive连接参 阅读全文

摘要： 在了解kettle血缘之前，咱们先来了解下什么是数据血缘？ 1、数据血缘定义（来自gpt） 数据血缘（Data Lineage）是指在数据管理和数据分析中追踪数据的源头、流向和处理过程的能力。具体来说，数据血缘描述了数据如何被创建、变换和移动，以及这些过程中数据的路径和影响。它有助于理解数据的可靠性 阅读全文

摘要： 场景：kettle调用https接口，跳过校验SSL。（有些公司内部系统之间的https的接口是没有SSL校验这一说，无需使用用证书的） 解决方案：自定义插件或者自定义jar包通过javascript调用https接口。 1、http post 步骤调用https接口，无法通过ssl安全校验，如下图 阅读全文

摘要： 场景：kettle调用http接口获取数据（由于数据量比较大，鉴于网络和性能考虑，所以接口是个分页接口）。 方案：构造页码list，然后循环调用接口。 1、总体设计 1）、初始化分页参数pageNum=1,pageSize=20，这里的pageSize可以根据自己的需求自行调整，比如每次从接口取数1 阅读全文