07数据同步与ETL - 随笔分类 - 徐正柱-

kettle 6.1 日志查询

摘要：SELECT JB.ID_JOB, 作业ID JB.NAME, 作业名称 to_char(JB.DESCRIPTION) as JOB_DESCRIPTION , --作业描述 case when jl.status='end' then '完成' when jl.status='running' 阅读全文

posted @ 2017-03-17 09:19 徐正柱- 阅读(2340) 评论(0) 推荐(0)

kettle 6.1 按时间循环增量抽取数据

摘要：场景：假设有一张表数据量很大，需要按一个时间来循环增量抽取方法：主要是通过JOB自身调用，实现循环调用，类似于函数自调用的循环。 1.JOB全图： 2.获取增量时间，并设置增量时间环境变量 3.通过增量环境变更，获取本次增量数据 4.判断增量时间是否大于当前时间，判断是否继续执行一次的增量阅读全文

posted @ 2017-01-11 16:59 徐正柱- 阅读(4719) 评论(1) 推荐(1)

kettle 6.1 按时间增量抽取数据

摘要：1.设计一个增量配置表ETL_INCREMENTAL，用于配置表的增量时间等数据 2.增量JOB全图如下： 2.1获取增量时间变量，并设置增量变量 2.2 表的增量转换，在表中引用2.1的增量变量 2.3 完成增量后，修改配置表ETL_INCREMENTAL 阅读全文

posted @ 2017-01-11 16:31 徐正柱- 阅读(2356) 评论(0) 推荐(0)

kettle 6.1 通过JS脚本与SwitchCase结合实现目标步骤选择

摘要：场景：判断抽取的数据在目标库中是否已经存在(同一个病人是否已经存在治疗方案号)： 1.若不存在，则GROUPROWNO=1，并Insert into 目标库 ( 判断外关联字段是否为空 ) 2.若已存在(同一个病人是否已经存在治疗方案号) ，则判断更新时间是否相同 2.1若抽取数据的创建时间、修改阅读全文

posted @ 2017-01-11 15:16 徐正柱- 阅读(2755) 评论(0) 推荐(0)

Informatica 常用组件Lookup缓存之五使用动态查找高速缓存

摘要：对于关系查找，当目标表也是查找表时，可能要配置转换以使用动态高速缓存。PowerCenter 将在处理第一个查找请求时创建高速缓存。它将根据查找条件为传递给转换的每行查询高速缓存。当您使用动态高速缓存时，PowerCenter 在传递行至目标时将更新查找高速缓存。PowerCenter 从源读取... 阅读全文

posted @ 2015-04-24 15:09 徐正柱- 阅读(840) 评论(0) 推荐(0)

Informatica 常用组件Lookup缓存之四使用不高速缓存的查找或静态高速缓存

摘要：默认情况下，在为高速缓存配置查找转换时，PowerCenter 将创建静态查找高速缓存。PowerCenter 将在处理第一个查找请求时创建高速缓存。它将根据查找条件为传递给转换的每行查询高速缓存。PowerCenter 处理转换时不会更新高速缓存。PowerCenter 处理不高速缓存查找的方... 阅读全文

posted @ 2015-04-24 15:07 徐正柱- 阅读(415) 评论(0) 推荐(1)

Informatica 常用组件Lookup缓存之三重建查找高速缓存

摘要：如果您认为查找源在 PowerCenter 上次构建高速缓存时已更改，则可指示 PowerCenter 重建查找高速缓存。重建高速缓存时，PowerCenter 会覆盖现有永久高速缓存文件而创建新的高速缓存文件。PowerCenter 重建高速缓存时会向会话日志写入消息。当映射包含一个查找转... 阅读全文

posted @ 2015-04-24 15:04 徐正柱- 阅读(397) 评论(0) 推荐(0)

Informatica 常用组件Lookup缓存之二使用永久查找高速缓存

摘要：可以将"查找"转换配置为使用非永久或永久高速缓存。基于"查找高速缓存永久"属性的会话成功后，PowerCenter 将保存或删除查找高速缓存文件。如果查找表在会话间没有更改，则可以将"查找"转换配置为使用永久查找高速缓存。PowerCenter 在会话期间保存并重新使用高速缓存文件，消除了读取... 阅读全文

posted @ 2015-04-24 15:02 徐正柱- 阅读(939) 评论(0) 推荐(0)

Informatica 常用组件Lookup缓存之一概述

摘要：可以配置查找转换以高速缓存查找表。PowerCenter 将在处理高速缓存查找转换中的第一个数据行时在存储器中建立高速缓存。它将根据您在转换或会话特性中配置的数量来分配高速缓存区内存。PowerCenter 会将条件值存储在索引高速缓存区中，而将输出值存储到数据高速缓存区。PowerCente... 阅读全文

posted @ 2015-04-24 15:00 徐正柱- 阅读(1252) 评论(0) 推荐(0)

Informatica 常用组件Lookup之十创建查找转换

摘要：在 Mapping Designer 中选择"转换-创建"。选择查找转换。输入转换名称。查找转换的命名惯例是 LKP_TransformationName。单击"确定"。在"选择查找表"对话框中，您可以选择以下选项：选择现有表或文件定义。选择从关系表或文件导入定义。跳过以创建手动定义。为每个需要定义... 阅读全文

posted @ 2015-04-24 14:42 徐正柱- 阅读(569) 评论(0) 推荐(0)

Informatica 常用组件Lookup之九配置未连接的查找转换

摘要：在映射中，未连接的查找转换与管道是分开的。您可以使用 :LKP 引用限定符编写表达式以调用其它转换中的查找。未连接查找的常用用法包括：测试表达式中某个查找的结果基于查找结果过滤行基于查找的结果将行标记为更新，如更新缓慢更改的维表在一个映射中多次调用相同的查找配置未连接的查找转换时，请完成... 阅读全文

posted @ 2015-04-24 14:40 徐正柱- 阅读(1714) 评论(0) 推荐(0)

Informatica 常用组件Lookup之八查找高速缓存

摘要：可以配置查找转换以高速缓存查找文件或表。PowerCenter 将在处理高速缓存查找转换中的第一个数据行时在存储器中建立高速缓存。它将根据您在转换或会话特性中配置的数量来分配高速缓存区内存。PowerCenter 会将条件值存储在索引高速缓存区中，而将输出值存储到数据高速缓存区。PowerCen... 阅读全文

posted @ 2015-04-24 14:37 徐正柱- 阅读(476) 评论(0) 推荐(0)

Informatica 常用组件Lookup之七查找条件

摘要：PowerCenter 使用查找条件来测试收到的值。这与 SQL 查询中的 WHERE 子句相似。为转换配置查找条件时，将对转换输入值和查找源或高速缓存（用查找端口代表）中的值进行比较。当您运行工作流时，PowerCenter 将基于条件在查找源或高速缓存中查询所有收到的值。必须在所有查找转换中... 阅读全文

posted @ 2015-04-24 14:35 徐正柱- 阅读(780) 评论(0) 推荐(0)

Informatica 常用组件Lookup之六查询

摘要：PowerCenter 基于您在查找转换中配置的端口和属性来查询查找。当第一行输入到查找转换时，PowerCenter 运行一个默认的 SQL 语句。如果使用关系查找，您可以在"查找 SQL 覆盖"属性中自定义默认查询。默认查找查询默认查找查询包含以下语句：SELECT。SELECT 语... 阅读全文

posted @ 2015-04-24 14:32 徐正柱- 阅读(997) 评论(0) 推荐(0)

Informatica 常用组件Lookup之五转换属性

摘要：查找转换的属性标识数据库源、PowerCenter 如何处理转换，以及它如何处理高速缓存和多项匹配。创建映射时，为每个查找转换指定属性。创建会话时，您可在会话属性中覆盖某些属性，如每个转换的索引和数据高速缓存大小。选项查找类型说明Lookup SQL Override关系覆盖默认 SQL 语... 阅读全文

posted @ 2015-04-24 14:28 徐正柱- 阅读(4054) 评论(0) 推荐(0)

Informatica 常用组件Lookup之四查找组件

摘要：在映射中配置查找转换时，请定义以下组件：查找源端口属性条件元数据扩展查找源您可以使用平面文件或关系表作为查找源。创建查找转换时，您可以从以下位置导入查找源：资料库中的任何关系源或目标定义资料库中的任何平面文件源或目标定义PowerCenter Server 和 PowerCenter C... 阅读全文

posted @ 2015-04-24 14:24 徐正柱- 阅读(1199) 评论(0) 推荐(1)

Informatica 常用组件Lookup之三关系和平面文件查找

摘要：创建查找转换时，您可以选择使用关系表或平面文件作为查找源。关系查找使用关系表作为查找源来创建查找转换时，您可以使用 ODBC 连接到查找源并导入表定义作为查找转换的结构。仅可对关系查找使用以下选项：如果需要添加 WHERE 子句或查询多个表，则可以覆盖默认的 SQL 语句。您可以对关系... 阅读全文

posted @ 2015-04-24 14:20 徐正柱- 阅读(646) 评论(0) 推荐(0)

Informatica 常用组件Lookup之二已连接和未连接的查找

摘要：可以配置一个已连接的查找转换，以从映射管道中直接接收输入；您也可以配置一个未连接的查找转换，以从其它转换的表达式结果中接收输入。已连接的查找未连接的查找直接从管道接收输入值。从其它转换的 :LKP 表达式结果接收输入值。可以使用动态或静态高速缓存。可以使用静态高速缓存。高速缓存包括映射中用到的所... 阅读全文

posted @ 2015-04-24 14:17 徐正柱- 阅读(1827) 评论(0) 推荐(0)

Informatica 常用组件Lookup之一概述

摘要：转换类型：被动、已连接/未连接在映射中使用查找转换以从平面文件或关系表、视图或同义词查找数据。您可以从 PowerCenter Client 和 PowerCenter Server 均连接至的任何平面文件或关系数据库中导入查找定义。您可以在一个映射中使用多个查找转换。 PowerCenter... 阅读全文

posted @ 2015-04-24 14:15 徐正柱- 阅读(2303) 评论(1) 推荐(0)

Informatica 常用组件Aggregator之三使用排序输入

摘要：可以使用排序输入选项改善聚合转换性能。使用排序输入时，PowerCenter 会假定所有数据已按组排序。PowerCenter 读取某组的行时，它将执行聚合计算。需要时，它会将组信息存储在存储器中。要使用排序输入选项，您必须将已排序数据传递至聚合转换。配置具有多个分区的会话时，您可以通过已排序端... 阅读全文

posted @ 2015-04-24 14:11 徐正柱- 阅读(1063) 评论(0) 推荐(0)

业务数据安全

公告

随笔分类 - 07数据同步与ETL