摘要: 该kettle插件功能类似kettle现有的定义的java类插件,自定java类插件主要是支持在kettle中直接编写java代码实现自定特殊功能,而本控件主要是将自定义代码转移到jar包,就是说自定义功能的实现改为在eclipse等ide中开发。 阅读全文
posted @ 2016-08-15 08:56 马进举 阅读(12991) 评论(0) 推荐(1) 编辑
摘要: 本介绍我的开源项目[kettle-manager]kettle管理平台如何获取并部署使用,该项目介绍请参看另一篇博文:http://www.cnblogs.com/majinju/p/5739820.html 。 阅读全文
posted @ 2016-08-13 00:15 马进举 阅读(24041) 评论(11) 推荐(1) 编辑
摘要: 专门为kettle这款优秀的ETL工具开发的web端调度、管理工具。 阅读全文
posted @ 2016-08-05 08:05 马进举 阅读(58569) 评论(20) 推荐(4) 编辑
摘要: kettle内置的jndi管理是simple-jndi,功能确实比较简单,我需要监控kettle性能,druid确实是很不错的选择,但没有提供对应的支持,我改进了druid源码,实现了simple-jndi的接口,就可以在simple-jndi/jdbc.properties中配置druid数据源了,通过druid可以得到很多监控数据。 阅读全文
posted @ 2016-01-31 13:07 马进举 阅读(2634) 评论(0) 推荐(0) 编辑
摘要: 日期时间的格式可谓千奇百怪,做数据汇集相关项目时就会需要识别各种日期时间格式(因为数据来源广泛不可控),然后转换为标准格式或Date类型。 阅读全文
posted @ 2015-12-29 21:09 马进举 阅读(1709) 评论(0) 推荐(1) 编辑
摘要: 这个其实非常简单,之所以要写此文是因为当前网上搜索到的文章都是使用PostgreSQL的驱动,没有找到使用greenplum官方驱动的案例,两者有什么区别呢?速度。 阅读全文
posted @ 2015-11-28 14:55 马进举 阅读(18187) 评论(0) 推荐(2) 编辑
摘要: 在数据清洗转换中,常见字典翻译,如性别在原表中是1(男)、2(女)等,类似还有很多较大的字典需要翻译,若同一个表中有很多个字典需要翻译,采用【数据库查询】方式翻译的话效率就会相当低下,这里介绍采用java代码来翻译。 阅读全文
posted @ 2015-11-28 14:15 马进举 阅读(5789) 评论(5) 推荐(1) 编辑
摘要: 本文介绍在搭建好cdh环境后,将关系数据库中大量数据导入solr中的一些实践经验和小知识。 阅读全文
posted @ 2015-10-06 14:04 马进举 阅读(2355) 评论(0) 推荐(0) 编辑
摘要: 本文就是分享下二进制文件(图片、txt文件等)在oracle和文件系统间的传输的转换示例。 阅读全文
posted @ 2015-08-29 12:03 马进举 阅读(5579) 评论(0) 推荐(1) 编辑
摘要: 要说的话这个工具类还是比较简单的,每个方法体都比较小,但用起来还是可以的,把开发中一些常用的步骤封装了下,不用去kettle源码中找相关操作的具体实现了。 阅读全文
posted @ 2015-08-23 11:18 马进举 阅读(5051) 评论(2) 推荐(1) 编辑