随笔分类 -  Kettle

Kettle
通过第三方完成Kettle调度
该文被密码保护。

posted @ 2019-09-07 10:56 Neo0820 阅读(2) 评论(0) 推荐(0)

Kettle作业的自带定时任务
摘要:文章出处:https://blog.csdn.net/jianlong727/article/details/53966286 7.1、新建作业 7.2、部署作业在“核心对象”中拖拽两个图标到执行区 分别是“START”和“转换”图标,并连接起来 7.3、配置“START”双击“START”按钮,配 阅读全文

posted @ 2019-06-10 10:11 Neo0820 阅读(7011) 评论(0) 推荐(0)

Carte上面的作业1、2天就会丢失的问题
摘要:发现Carte上面的作业莫名其妙就会没有,问了客户的维护人员说也没删除。 对象时间也是No Limit,但还是隔1、2天就不见了。 那说明之前配置这里还是无效 发现日志提示 网上google发现 https://jira.pentaho.com/browse/PDI-10750 有这个参数设置KET 阅读全文

posted @ 2019-04-04 15:54 Neo0820 阅读(888) 评论(0) 推荐(0)

Carte 远程ETL执行引擎
该文被密码保护。

posted @ 2019-03-19 16:43 Neo0820 阅读(16) 评论(0) 推荐(0)

计划任务提示“该任务映像已损坏或已篡改”解决方案
摘要:经常会用到windows系统自带的任务计划。但是有时候计划任务会出现不预期的错误发生损坏 解决方案 第一步,找出是哪些计划任务错误 然后呢,删掉出错的文件。 找到你要删除的作业,删除,然后重新部署即可 阅读全文

posted @ 2019-03-04 16:20 Neo0820 阅读(3911) 评论(1) 推荐(1)

Kettle 解决数据锁的问题(事务(进程 ID 51)与另一个进程被死锁在 锁 资源上)
摘要:1.Kettle做了一个作业, 执行的时候问题发生在步骤2和步骤3之间,也就是步骤2还未完全执行完的时候,步骤3就要更新步骤2插入的数据,造成死锁。(我的理解是既然都分开作业了,那么每个作业都是一个单独的事务,只有上个事务执行完毕后才会执行下个步骤,为什么会抢资源呢?另外看网上描述,说Kettle社 阅读全文

posted @ 2018-11-21 11:41 Neo0820 阅读(8458) 评论(0) 推荐(0)

Kettle配合Windows执行计划实现定时实行作业
摘要:一般作业做好后需要做成定时任务,Kettle可以借助Windows的执行计划来完成。那么可以通过写批处理的方式让执行计划来调用。 其中Kitchen和Pan都可以做定时执行,一个是针对作业,一个是针对转换。 那么方式定好了,通过Kettle做好自己的作业后,写一个批处理文件。 然后开始创建执行计划就 阅读全文

posted @ 2018-11-20 10:51 Neo0820 阅读(4105) 评论(0) 推荐(0)

Kettle 值映射
摘要:在费用转换里面做了两个值映射。一个是编码、一个是名称。其中两个值映射设置不一样效果不一样。 第一个编码映射 目标字段名不为空,则表示会新增字段。其中复核源值条件的都会转换为目标值,不符合条件的会用【不匹配的默认值】的字符串覆盖。那有人可能会问,如果不匹配的时候可否继续用原来的字段值来用?可以,看第二 阅读全文

posted @ 2018-09-09 18:09 Neo0820 阅读(7855) 评论(0) 推荐(0)

Kettle 行列互换之——行转列(多列数据合并成一列变为多行)
摘要:原始需求如下: 业务系统设置成这样,见截图。 工资项目为了方便录入,都是做成列的。 但是这些数据需要和另外的费用报销系统的数据关联,费用报销系统的费用项目是横向的,用费用项目、金额的多行来表达。那么这里工资的数据如何转换成行呢? 在Kettle里面做一个列转行的转换就行。参考如下。 其中表输入的数据 阅读全文

posted @ 2018-09-09 15:56 Neo0820 阅读(6565) 评论(0) 推荐(0)

Kettle 系列随笔
摘要:1.Kettle导入数据到Hive 出现多余的几行全部是null值的情况 2.Kettle根据表输入的SQL脚本返回创建表的SQL脚本 3.Kettle 行列互换之——行转列(多列数据合并成一列变为多行) 4.Kettle 值映射 5.Kettle配合Windows执行计划实现定时实行作业 6.Ke 阅读全文

posted @ 2018-06-01 09:28 Neo0820 阅读(378) 评论(0) 推荐(0)

Kettle根据表输入的SQL脚本返回创建表的SQL脚本
摘要:其中【物料分组】节点就是表输入,里面可以构建SQL查询。那么怎么把生成的数据插入到目标表中?并且构建目标表的结构呢? 目标表结构就在【表输出】栏位 点击【SQL】,就可以看见生成目标表结构的脚本 阅读全文

posted @ 2018-05-17 14:04 Neo0820 阅读(1298) 评论(0) 推荐(0)

Kettle导入数据到Hive 出现多余的几行全部是null值的情况
摘要:Kylin构建Cube的时候老是报错,说是有空值,其实源数据中是不存在空值的。为什么建Cube的时候会有呢? 执行完毕后使用Hive查询发现多了好几行全部是null的行。 这在源数据中是不存在的。分析可能的原因是文本类型中存在特殊字符,例如 Tab,回车,换行字符。所以在抽取源数据中增加过滤。 Sq 阅读全文

posted @ 2018-04-11 10:52 Neo0820 阅读(2149) 评论(0) 推荐(0)

导航