随笔分类 -  Kettle

Winodw调度bat脚本启动kettle调度不弹命令窗口实现
摘要：Winodw执行计划调度存在的问题： 1）重复调度只支持分钟级别的，无法达到秒级 2）老是弹出cmd命令执行窗口 实际应用中，很多调度需要20s或者30s跑一次调度，同时调度又很多，满屏的cmd窗口，看着都烦。 改进： ①满足秒级别调度：在bat文件中使用循环达到效果，每一次循环等待20s（自定义时 阅读全文
posted @ 2021-05-19 14:24 楔子 阅读(569) 评论(0) 推荐(1)
Kettle集成飞书发送消息
摘要：1）飞书机器人使用-参考文档：https://www.feishu.cn/hc/zh-CN/articles/360024984973 2）kettle集成飞书发送消息： 具体运行效果如下： ①自定义常量数据（定义发送消息内容） ②REST Client（发送消息） ③写日志（主要用来查看请求响应结 阅读全文
posted @ 2021-04-19 16:59 楔子 阅读(438) 评论(0) 推荐(0)
Kettle报错OPTION SQL_SELECT_LIMIT=DEFAULT
摘要：错误日志： You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQ 阅读全文
posted @ 2021-04-15 14:44 楔子 阅读(545) 评论(0) 推荐(0)
Kettle调度时区问题
摘要：源数据库与目标数据库时区不一致，导致kettle调度数据后时间差8小时 解决办法： 数据库连接处，选项中添加参数serverTimezone=Asia/Shanghai 阅读全文
posted @ 2020-08-25 09:51 楔子 阅读(1504) 评论(0) 推荐(0)
Kettle集成CDH6.3.2
摘要：1)登录CDH，点击HDFS->操作->下载客户端配置 2)将下载后的文件解压，拷贝到data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh632文件中 下载后的文件 将core-site.xml与hdfs 阅读全文
posted @ 2020-07-28 10:07 楔子 阅读(1442) 评论(0) 推荐(0)
Kettle读取mysql数据存入Hive分区表中,使用Impala查询
摘要：操作步骤 1）TmpBstAggZwTktModelD 按天读取Mysql表数据bst_agg_zw_tkt_model_d，存入hive临时表tmp_bst_agg_zw_tkt_model_d（临时表采用txt格式，按年月日进行分区） 2）HiveBstAggZwTktModelD 连接hive 阅读全文
posted @ 2020-07-20 11:55 楔子 阅读(1287) 评论(0) 推荐(0)
Kettle调度Python脚本
摘要：详情见图 etl_bst_agg_zw_tkt_model_d.py 支持传递时间参数，不传递时，默认调度昨天的数据 如：python etl_bst_agg_zw_tkt_model_d.py 20200101 20200102 调度20200101这一天的数据 python etl_bst_ag 阅读全文
posted @ 2020-07-20 11:34 楔子 阅读(859) 评论(0) 推荐(1)
Kettle循环调度
摘要：设计效果如下： 详细介绍 1)设置变量: BEGIN_DATE、END_DATE，STOP_DATE 如图：当BEGIN_DATE=STOP_DATE时，将结束调度 2）检查字段值：检查BEGIN_DATE是否等于STOP_DATE，如果等于，停止Job,不等于的话执行 acc_bas_ticket 阅读全文
posted @ 2020-07-20 11:22 楔子 阅读(1813) 评论(0) 推荐(0)