04 2024 档案

mysql日期格式说明
摘要：mysql日期格式说明 %a:缩写星期名 %b:缩写月名 %c:月，数值 %D:带有英文前缀的月中的天 %d:月的天，数值(00-31) %e:月的天，数值(0-31) %f:微秒 %H:小时(00-23) %h:小时(01-12) %I:小时(01-12) %i:分钟，数值(00-59) %j:年 阅读全文
posted @ 2024-04-15 17:14 三倍镜 阅读(16) 评论(0) 推荐(0)
kettle介绍-Step之Script Values/Mod(JavaScript 代码) 一
摘要：Script Values/Mod JavaScript 代码介绍 JavaScript 代码步骤提供了一个用户界面，用户可以编写 JavaScript 代码到脚本区，脚本区域中的每一行代码都会执行一次，该步骤具有两个窗格和一个表 Step name：步骤的名称，在单一转换中，名称必须唯一 Java 阅读全文
posted @ 2024-04-15 15:52 三倍镜 阅读(33) 评论(0) 推荐(0)
kettle介绍-Step之Return steps metrics
摘要：Return steps metrics转换步骤信息统计介绍 转换步骤信息统计步骤可以用于统计当前转换中的其它步骤信息，包括步骤执行后的输入行数、输入行数、读入行数、更新行数等。此步骤可以直接拖入转换中，不需要连接其它步骤，手动填写需要进行统计的步骤名称即可 General标签页 Step name 阅读全文
posted @ 2024-04-10 15:58 三倍镜 阅读(19) 评论(0) 推荐(0)
kettle介绍-Step之REST Client
摘要：REST Client介绍 REST 客户端转换步骤可以消费 RESTful 服务。RESTful 是一种网络应用程序的设计风格和开发方式，基于 HTTP，可以使用 XML 格式定义或 JSON 格式定义。在该体系中 Web 服务被视为资源并且可以通过其 URL 进行标识，该步骤有常规、认证、SSL 阅读全文
posted @ 2024-04-10 14:49 三倍镜 阅读(72) 评论(0) 推荐(0)
kettle介绍-Step之Abort
摘要：Abort中止介绍 中止步骤用于读取指定行数之后停止读取剩余行数，可以用于调试转换 Step Name：步骤的名称，在单一的转换中，名称必须唯一Abort threshold：指定行数，转换读取到指定行数的后一行，就停止读取剩余行集数据Abort message：指定信息内容，中止读取行集数据之后以 阅读全文
posted @ 2024-04-09 09:41 三倍镜 阅读(15) 评论(0) 推荐(0)
kettle介绍-Step之Value Mapper
摘要：Value Mapper值映射介绍 值映射步骤是将字符串值从一个值映射为另一个值。值映射步骤提供了一个简单的替代方法，在输入流中选中一个字段，通过字段值设置源值和目标值，再将映射值输出给后续步骤使用。如：值映射步骤可以和表输入步骤、表输出步骤一起使用，对表输入步骤中的字段值进行映射后，输出给表输出步 阅读全文
posted @ 2024-04-09 09:31 三倍镜 阅读(22) 评论(0) 推荐(0)
kettle介绍-Step之Write to log
摘要：Write to log写日志介绍 写日志步骤是将输入步骤的信息打印在日志窗口，供用户直接查看 Step name：步骤的名称，在单一转换中，名称必须唯一。Log level：设置日志的显示级别。 没有日志(Nothing)：完成没有任何日志输出。 错误日志(Error)：只输出错误信息。 最小日志 阅读全文
posted @ 2024-04-07 14:57 三倍镜 阅读(31) 评论(0) 推荐(0)
kettle介绍-Step之CSV Input
摘要：CSV Input/CSV 文件输入介绍 CSV 文件输入步骤主要用于将 CSV 格式的文本文件按照一定的格式输入至 流中 Step name:步骤的名称，在单一转换中，名称必须唯一 Filename:指定输入 CSV 文件的名称，或通过单击右边的“浏览”按钮指定本地的 CSV 文件 Delimit 阅读全文
posted @ 2024-04-07 14:44 三倍镜 阅读(18) 评论(0) 推荐(0)
kettle介绍-Step之If field value is null
摘要：If field value is null介绍 替换NULL值步骤可以将输入流中所有字段的空值进行替换，也可以指定一种类型下的空值进行替换，还可以指定一个字段下的空值进行替换 三种替换NULL模式 所有字段空值全部替换选定字段替换指定值根据数据类型替换指定值 阅读全文
posted @ 2024-04-03 15:49 三倍镜 阅读(33) 评论(0) 推荐(0)
kettle介绍-Step之加密及解密
摘要：加密 进入kettle的安装目录 cd /d D:\Application\pdi-ce-6.0.0.0-353\data-integration windows系统命令行执行：Encr.bat -kettle 123 cd /data/data-integration linux/mac系统命令行 阅读全文
posted @ 2024-04-03 15:37 三倍镜 阅读(22) 评论(0) 推荐(0)
kette介绍-Step之Table output
摘要：表输入(Table output)介绍： Table output步骤常被用于将转换中的行集从内存持久化到数据库，对转换而言是 行集被拿出去的感觉，故名为输出。可以限制提交记录数量和指定插入的目标表 字段 Use batch update for inserts:激活批量插入。激活条件下，性能更高。 阅读全文
posted @ 2024-04-03 13:23 三倍镜 阅读(17) 评论(0) 推荐(0)
kette介绍-Step之Table input
摘要：表输入(Table Input)介绍： Table input用于将数据源的数据加载到Kettle转换中的行集，可以说是数 据从持久化到内存的一种加载变换，故名为输入。加载内部过程，就是通过JDBC 连接到数据源执行SQL语句，将返回结果解析为行集，传递给下一个步骤。 SQL：可以随意写能运行的SQ 阅读全文
posted @ 2024-04-03 13:00 三倍镜 阅读(14) 评论(0) 推荐(0)
kette介绍-Step之Merge Join
摘要：Merge Join介绍 需要配合Sort rows使用,对关联字段进行排序 关联两个step数据，可以是两个不同的数据库表数据，也可以是一张表，一个文件，输出字段为两张表所有字段 注意将小数据集作为first step Join Type有四个选项 INNER对应SQL关联查询中inner joi 阅读全文
posted @ 2024-04-03 11:41 三倍镜 阅读(16) 评论(0) 推荐(0)
kettle介绍-参数变量
摘要：ETL中为什么使用参数变量 实现ETL的复用D,Q,P环境不同,使用变量方便发布有的条件需要外部传入增量ETL灵活性强 kettle中参数变量种类 Environment VariablesKettle VariablesInternal VariablesTransformation中的变量Job 阅读全文
posted @ 2024-04-02 14:36 三倍镜 阅读(50) 评论(0) 推荐(0)
kettle使用MD5加密增量获取接口数据
摘要：kettle使用MD5加密增量获取接口数据 场景介绍： 使用JavaScript组件进行MD5加密得到Http header，调用API接口增量获取接口数据，使用json input组件解析数据入库 案例适用范围： MD5加密可参考、增量过程可参考、调用API接口获取数据可参考、Json Input 阅读全文
posted @ 2024-04-02 12:58 三倍镜 阅读(69) 评论(0) 推荐(0)