ETL第一篇(Kettle Spoon) 初遇

简介

Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,job 则完成整个工作流的控制。

Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。

Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。

安装

这里用的是client-tools v8.1

问题

  • 如果提示javaw.exe文件找不到, 检查JAVA_HOME (或者JRE_HOME)配置

  • 如果提示JVM内存过大之类的问题, 可修改spoon.bat中内存配置
    (在117行左右)
if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms512m" "-Xmx1024m" "-XX:MaxPermSize=256m"

使用技巧

1. 共享已连接的数据库

配好了数据库, 写完第一个转换, 准备写第二个转换时发现数据又需要重新连接, 这里只需要右键已连接的数据, 选择[共享]即可;

参考文档

posted @ 2018-08-03 23:25 小鸣的微笔记 阅读(...) 评论(...) 编辑 收藏