摘要：
Kettle性能优化是一个系统工程，不仅涉及工具本身的优化，更涉及ETL工具之外的诸多因素，比如，ETL要读取数据库，那么目标DMBS的性能，SQL语句，网络等相关因素都影响到执行效率。根据Kettle对数据ETL的过程性能调优，主要取决于三个因素：上游渠道，工具的大小与数量，下游渠道。 一 Ket 阅读全文
posted @ 2019-09-24 14:42
minbk5718
阅读(2984)
评论(0)
推荐(0)
摘要：
ETL效率优化 开启数据库日志记录及性能监控 如果我们想要优化一个ETL（KTR或者KJB）的性能，我们首先需要知道的就是它的瓶颈在哪里。而这些信息一般只能在ETL运行的步骤度量中看到，并且是不会持久化的。如果你希望把一些数据记录下来，帮助以后进行查阅，那么可以开启数据库日志和性能监控。 作业 具体 阅读全文
posted @ 2019-09-20 17:34
minbk5718
阅读(2012)
评论(0)
推荐(0)
摘要：
本文链接：https://blog.csdn.net/xpliruizhi123/article/details/54580850 最近发现KETTLE抽数越来越慢，特别是增量INSERT/UPDATE的时候，速度已经达到了令人发指的地步（从一个400W数据规模的表中每天增量量抽取30W数据的TRA 阅读全文
posted @ 2019-09-20 17:26
minbk5718
阅读(1038)
评论(0)
推荐(0)
摘要：
ETL是什么？ ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。（数据仓库结构）通俗的说法就是从数据源抽取数据出来，进行清洗加工转换，然后加载到定义好的数据仓库模型中去 阅读全文
posted @ 2019-09-11 16:37
minbk5718
阅读(3644)
评论(0)
推荐(0)
摘要：
这些年，几乎都与ETL打交道，接触过多种ETL工具。现将这些工具做个整理，与大家分享。一 ETL工具【国外】1. datastage点评：最专业的ETL工具，价格不菲，使用难度一般下载地址：ftp://ftp.seu.edu.cn/Pub/Develop ... taStage.v7.5.1A-iS 阅读全文
posted @ 2019-09-11 16:18
minbk5718
阅读(8925)
评论(0)
推荐(1)
摘要：
通过php语言实现对Mysql数据库的基本操作 1.php页面在进行浏览时需要有php语言执行的环境，本人用的是WampServer软件，只要将项目复制到wampserver_php\wamp\www\该路径下就可以执行php语言。 2.建立php类文件（mysql.php）进行具体的操作 3.建立 阅读全文
posted @ 2018-09-12 13:11
minbk5718
阅读(2576)
评论(0)
推荐(0)
浙公网安备 33010602011771号