随笔分类 -  KETTLE

为了采集一批数据使用的BI工具
PDI-KETTLE-5 kettle程序在Windows开发迁移至Linux环境乱码问题
摘要：现象 开发了KETTLE项目部署到LINUX系统，发现生成的日志乱码，如下图所示： 该机器locale设置没问题，crt软件页面中文呈现OK。 解决 修改spoon.sh如下片段，新增 “-Dfile.encoding=UTF-8” ： 结果 修改完后执行脚本结果如下： 阅读全文
posted @ 2019-04-30 11:27 狐狸小姐18岁 阅读(669) 评论(0) 推荐(0)
KETTLE调度第三篇：Windows下调度Dos脚本编写和遇到的一些问题解决
摘要：前言：Kettle在Windows机器上常常依赖批处理脚本来实现执行过程，本文记录使用KETTLE过程中遇到命名参数、中文压缩包解压时批处理脚本是怎么处理的。 1、中文压缩包解压 最近接到一个数据采集工作，第一反应就是想用Kettle来实现。我的环境是Windows。 我的大致需求是： 周期性从SF 阅读全文
posted @ 2019-01-09 19:07 狐狸小姐18岁 阅读(1668) 评论(0) 推荐(0)
PDI-KETTLE-4 使用Kettle完成通用DB生成指定文件并通过FTP上传
摘要：在生产环境中，我们经常会遇到数据定时同步的问题，这里整理出一个通用的FTP上传同步的程序（FTP下载入库的同步同理），供大家参考。本文以Windows环境为例进行日粒度同步数据。另外，本文所示例子，默认没有使用资源库。 一、实现的功能是什么？ 定时从数据库获取时间范围内的数据，然后将数据生成指定格式 阅读全文
posted @ 2017-10-09 17:32 狐狸小姐18岁 阅读(7063) 评论(1) 推荐(1)
PDI-KETTLE-3：数据库连接
摘要：在此记录之前连接过的一些数据库方式，补充在前做一个分类： 1、ODBC方式，注意jdk1.8以上不支持le 2、JDBC方式， 3、通用数据库方式 4、JNDI方式 以下以不同的数据做例子： 一 ODBC 连ORACLE 1 安装oracle客户端，创建ODBC数据源 2 填写数据库信息，点击测试连 阅读全文
posted @ 2017-07-20 23:27 狐狸小姐18岁 阅读(1333) 评论(0) 推荐(0)
PDI-KETTLE-2：KETTLE安装，环境变量配置，开发准备
摘要：在这里把环境变量的配置具体拿出来，有问题的同学自己比对一下： 1、安装JDK，KETTLE 1) KETTLE拷贝程序包，绿色安装； 官方下载：http://community.pentaho.com/projects/data-integration/ 2) JDK安装； 2、配置系统环境变量 ( 阅读全文
posted @ 2017-07-20 22:27 狐狸小姐18岁 阅读(2519) 评论(0) 推荐(0)
KETTLE常见问题记录第一篇【安装，资源库，数据库】
摘要：在群里经常会遇到很多人问问题，大部分人的问题都大同小异；在这里把自己和群里同学们遇到过，自己手痒去验证过的问题做一个集中记录，希望可帮助一些PDI入门的同学们。也可以见证一下前人踩过的无数坑~ 另外，特别推荐一本kettle入门值得看的书《解决方案：使用PDI构建开源ETL解决方案》，有条件的当当可 阅读全文
posted @ 2017-07-20 21:44 狐狸小姐18岁 阅读(2267) 评论(0) 推荐(0)
KETTLE调度第二篇：把Jenkins调度Web启动设置为后台执行
摘要：上篇记录了Jenkins WEB 的搭建，我使用的cmd 命令启动方式，为了防止其他人员误关闭cmd 命令窗口，打算将整个启动放到后台执行。 我的系统环境是 2008 R2，想到的方法有： 1）系统任务计划定时设定机器启动的时候执行命令 2）系统的开机启动项 3）tomcat 的方式（我不懂JAVA 阅读全文
posted @ 2017-07-20 17:39 狐狸小姐18岁 阅读(951) 评论(0) 推荐(0)
PDI-KETTLE-1：使用KETTLE如何设计一个作业-以数据库迁移为例
摘要：接触kettle不长，在和其他同事推广的时候写了这篇文档。以数据库迁移为例。 最终设计的KETTLE作业如下： 整个过程需要了解的知识点是： 1）变量的使用 2）使用作业循环调用子JOB 总结：工具的使用只有熟练和不熟练的区别；最重要的是你要想好怎么做，分析设计清楚了，再考虑用工具实现。 阅读全文
posted @ 2017-07-14 17:17 狐狸小姐18岁 阅读(595) 评论(0) 推荐(0)
KETTLE调度第一篇：搭建Jenkins
摘要：KETTLE 目前很难找到免费的专门调度平台，除了使用Win的任务计划定时和Linux的cron任务，还可以使用Jenkins来调度。 一、测试机器本机，配置如下所示 OS：Windows Server 2008 R2 Enterprise，64位； JDK：1.8.0_25（1.5以上）； KET 阅读全文
posted @ 2017-07-14 16:50 狐狸小姐18岁 阅读(1334) 评论(0) 推荐(0)