随笔分类 -  ETL

摘要：在使用kettle 从MySQL中ETL数据时，出现“Data truncated for column 'xxx' at row 1”的错误，根据我所碰到的情况，会有两种原因：1.源字段值超出了目标字段类型的最大值2.在转换过程中流中的数据类型与目标字段类型不一致。例如流中的字段类型是char型，而目标字段是datetime型。 阅读全文

摘要：对于“主对象树”下的“DB连接”来说，基本属于一个库一个连接资源。不可以在编辑transformation时重新编辑选择不同的库，以最后一次编辑的结果为最终结果。 阅读全文

摘要：这可能还是跟jdbc有关，我抽取的表中有某个字段是tinyint，一般这种类型是用来进行表示布尔值的。在抽取过程中，kettle直接把表中的"1"值用"Y"来代表了，这时它会报如下错误：...Incorrect integer value: 'Y' for column 'XXX' at row 1...在数据转换的时候需要注意这点 阅读全文

摘要：非常易用的一个小插件，为每行记录计算一个校验和。基本上通过这个校验和值可以确定行唯一（如果表里无重复数据的话）。 阅读全文

摘要：今天想使用kettle抽取一张30W记录的表，我想简单的看一下kettle抽取的效率，不想在抽取至7999行时报错。查看日志："...Couldn't get row from result set......Value '0000-00-00' can not be represented as java.sql.Timestamp..."一开始没有注意下面的时间方面的问题，把注意力放在了“Couldn't get row from result set”,查询了一些网上的资料，加大了mysql的net_write_out并取消了kettl 阅读全文

摘要：此插件跟“数据库查询”是类似的，也是类似于join操作，并不仅仅是手册上所说的“select * from CET_STUINFO where bjdm in （select BJDM from 数据流）”，它这里的*所取的记录将会是CET_STUINFO.*与数据流的合集。 阅读全文

摘要：在使用这个插件时，要特别注意底部的“查询表返回的值”中的类型项，最好是使用“获取查询字段”来选择要返回的字段值，否则要是漏填了该项，会导致导出的该字段无值。 阅读全文