java程序员-http://www.it-ebooks.info/

年轻的我,脚踩大地,仰望天空,路还很长....

博客园 首页 新随笔 联系 订阅 管理

使用场景:

  ETL是一个处理过程。

  多个数据源之间进行数据同步

  1:n:一对多同步数据

  n:1:多个数据源到一个目的段

  m;n:多个数据源多个目的段

==================================================================

 

ETL仅仅时对数据的一种采集,存储到ODS或者DW,降低OLTP系统的压力

本质就是一个抽取工具

原理:管道机制Channel

==================================================================

1.ETL:数据抽取

2.抽取数据在不同的数据源之间,把数据进行转化,加载,清洗操作,保证抽取的数据合法。

3.开源实现:Kettle 工具

====================================================================

学习:

大家可以学学这个Kettle 工具,通过借鉴这个工具,我们可以自己设计自己的ETL过程,工具很好用,官方自带一些例子:ata-integration\samples。

 

在项目开发中,尤其是BI项目里面,ETL是必备的数据工具。(可以借鉴Kettle的模型进行二次开发,目前的项目就是这么使用的)

======================================================================

posted on 2014-06-26 02:27  gstsyyb  阅读(503)  评论(0编辑  收藏  举报