随笔分类 -  kettle

kettle中使用mysql的tinyint 类型到slqserver的tinyint类型
摘要：各个数据库之间的类型 定义还是有差别的 一下是我在工作中遇到的一个很奇葩的问题 mysql 中的 tinyint 类型 插入到sqlserver 的tinyint 类型 插入到 sqlserver的 指定类型字段（tinyint ） 值全部是 1 解决步骤： 1、在DB连接那里配置数据库连接的高级- 阅读全文

posted @ 2016-04-08 17:27 kenwong 阅读(703) 评论(0) 推荐(0)

kettle imestamp : Unable to get timestamp from resultset at index 22
摘要：在做ETL的时候，连接MySQL读取含有timestamp类型的表，出现如下错误： 经Google，据说是MySQL自身的问题。解决方法也很简单，在Spoon的数据库连接中，打开选项，加入一行命令参数： 如图所示： 问题解决。 转自： 《Pentaho Spoon (Kettle) 出现 Times 阅读全文

posted @ 2016-04-08 17:19 kenwong 阅读(4503) 评论(0) 推荐(0)

kettle crontab java: command not found
摘要：contos6.5下，单独执行脚本无问题，添加到crontab 里保存 java: command not found※（重点）接着，编写执行kettle任务的shell脚本创建test.sh，将以下内容复制粘贴到里面，然后键入“chmod +x/mnt/kettle/*.sh”，赋予test.sh... 阅读全文

posted @ 2015-11-06 17:15 kenwong 阅读(995) 评论(0) 推荐(0)

vertica copy
摘要：copy huimei.ken_copy from '/home/dbadmin/file.txt' delimiter ';' 阅读全文

posted @ 2015-10-09 18:18 kenwong 阅读(370) 评论(0) 推荐(0)

kettle 通过JDBC 连接SQL Server（Error occurred while trying to connect to the database）
摘要：在连接数据（MS SQLServer 2008）发现：Error occurred while trying to connect to the database然后找资料看，都不是问题所在，最后一篇博文里面说： 可能和Sqlserver Browser这个服务以及和实例名称有关系于是启动了相关服务... 阅读全文

posted @ 2015-10-09 12:54 kenwong 阅读(654) 评论(0) 推荐(0)

Kettle连接MySQL错误：OPTION SQL_SELECT_LIMIT=DEFAULT
摘要：由于升级了MySQL到5.6,运行ETL报错：OPTION SQL_SELECT_LIMIT=DEFAULT上网查询原来是MySQL的驱动版本不一致，之前的驱动不支持这样的写法，于是上网下载对应的驱动，解决！http://dev.mysql.com/doc/relnotes/connector-j/... 阅读全文

posted @ 2015-08-31 16:35 kenwong 阅读(391) 评论(0) 推荐(0)

Kettle日志级别
摘要：Kettle的日志级别LogLevel分为以下几个：Nothing 没有日志 不显示任何输出 Error 错误日志 仅仅显示错误信息 Minimal 最小日志 使用最小的日志 Basic 基本日志 缺省的日志级别 Detailed详细日志 给出日志输出的细节 Debug 调试日志 调试目的，调试输出... 阅读全文

posted @ 2015-08-28 14:52 kenwong 阅读(2151) 评论(0) 推荐(0)

Kettle解析JSON错误,We MUST have the same number of values for all paths,We can not find and data with path [$.
摘要：最近公司要从聚石塔上抽取数据，其中有JSON格式数据，所以学习一下Kettle解析JSON,碰到小小问题，记录一下：（1）2015/07/15 15:22:48 - trade_detail.0 - ERROR (version 5.4.0.1-130, build 1 from 2015-06-1... 阅读全文

posted @ 2015-07-16 15:00 kenwong 阅读(8123) 评论(0) 推荐(0)

关于Kettle的事务和转换内步骤的顺序执行
摘要：kettle中转换和作业的执行顺序： 1、一个作业内的转换，是顺序执行的。 2、一个转换内的步骤是并行执行的。 3、作业内不支持事务，转换内支持事务。根据业务需要，通常需要在转换内顺序执行，小技巧如下： 1、执行SQL是优先于所有步骤。 2、使用“阻塞数据直到步骤都完成”，确保其他数据步骤... 阅读全文

posted @ 2015-07-08 17:51 kenwong 阅读(19938) 评论(0) 推荐(0)

Kettle数据同步速度调优记录
摘要：Msyql到Vertica1、mysql中在openshop 数据库中选择其中一个300W左右数据的表create table ip_records_tmp_01ASSELECT * FROM ip_records_tmp tWHERE t.datetime '2015-05-01';删除：dele... 阅读全文

posted @ 2015-07-03 10:51 kenwong 阅读(16061) 评论(0) 推荐(1)

Kettle5.4.0 java.lang.OutOfMemoryError
摘要：CPU:Intel i3 3.40GHzMemory : 8GKettle默认配置将MySQL上的一张29W条数据的表，通过Kettle增量抽取到Vertica数据库中，结果在排序这一步报内存溢出异常。本来以为是kettle运行出错了，然后又重新试了一次，结果错误重现了。具体异常如下：org.ecl... 阅读全文

posted @ 2015-06-25 11:07 kenwong 阅读(2845) 评论(0) 推荐(0)

导航