随笔分类 -  ETL

kettle
ETL中的数据增量抽取机制【转】
摘要：增量抽取是数据仓库ETL(extraction，transformation，loading，数据的抽取、转换和装载)实施过程中需要重点考虑的问题。在ETL过程中，增量更新的效率和可行性是决定ETL实施成败的关键问题之一，ETL中的增量更新机制比较复杂，采用何种机制往往取决于源数据系统的类型以及对增 阅读全文
posted @ 2021-11-09 17:46 aongao 阅读(640) 评论(0) 推荐(0)
kettle linux环境部署 crontab 定时运行
摘要：1.解压部署 unzip data-integration.zip 2.权限 chmod +x ./data-integration/*.sh 3.安装依赖 yum install webkitgtk 4.启动测试 ./data-integration/pan.sh -file=./test.ktr 阅读全文
posted @ 2021-03-26 09:49 aongao 阅读(245) 评论(0) 推荐(0)
shell 处理kettle日志
摘要：#!/bin/bash output_number_file=tqxs_week_number.csv output_times_file=tqxs_week_times.csv #定义日期 date=`date "+%Y%m%d"` #获取当前文件夹下同期线损日志文件 files=$(ls|gre 阅读全文
posted @ 2020-12-24 17:10 aongao 阅读(457) 评论(0) 推荐(0)
informatica学习笔记
摘要：Joiner转换是用于连接两个异构源的Active和Connected Informatica转换。Joiner转换根据与两个源之间的一对或多对列匹配的指定条件连接源。这两个输入管道包括一个主管道和一个细节管道或分支。要联接两个以上的源，您需要将Joiner转换的输出与另一个源联接。要在一个映射中加 阅读全文
posted @ 2020-05-14 14:45 aongao 阅读(331) 评论(0) 推荐(0)
ETL工具对比
摘要：ETL工具对比 Informatica Kettle 起源 1993年创立于 （美国加利福尼亚州）并于1999年4月在纳斯达克上市 2006年加入了开源BI组织 自2017年9月起，已被（日立集团下的公司）收购 费用 免费 昂贵 易用性 GUI+Coding，有GUI，但是要专门的训练 GUI+Co 阅读全文
posted @ 2019-05-16 14:23 aongao 阅读(214) 评论(0) 推荐(0)
ETL优化
摘要：ETL优化 Extract、Transform、Load,对异构数据源进行数据处理。 设立基线标准，根据硬盘、网络传输速度，多测测量得到数据量（m）/时间（s）的比值，找线性关系。建立基线作为调试和优化的依据，避免人为主观判断。例如经过优化后，性能比基线提高了2%。 1. 数据库优化 1.1 数据库 阅读全文
posted @ 2018-12-14 10:37 aongao 阅读(1013) 评论(0) 推荐(0)
kettle 数据库连接失败
摘要：kettle 数据库连接失败 测试连接提示缺少驱动。 提示错误信息：Driver class 'oracle.jdbc.driver.OracleDriver' could not be found, make sure the 'Oracle' driver (jar file) is insta 阅读全文
posted @ 2018-12-06 09:10 aongao 阅读(850) 评论(0) 推荐(0)