会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
genius
persist and you will get it
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
5
6
7
8
9
10
11
12
13
···
19
下一页
2024年6月4日
kettle从入门到精通 第六十五课 ETL之kettle 执行动态SQL语句,轻松实现全量&增量数据同步
摘要: 本次课程的逻辑是同步t1表数据到t2表,t1和t2表的表机构相同,都有id,name,createtime三个字段。 CREATE TABLE `t1` ( `id` bigint NOT NULL AUTO_INCREMENT, `name` varchar(10) CHARACTER SET u
阅读全文
posted @ 2024-06-04 21:59 慕容尘轩
阅读(1781)
评论(0)
推荐(0)
2024年6月3日
kettle从入门到精通 第六十四课 ETL之kettle kettle中执行SQL脚本步骤,使用需当心
摘要: 1、群里有不定时会有同学反馈执行SQL脚本步骤使用有问题,那么咱们今天一起来学习下该步骤。trans中的执行SQL脚本有两方面功能,使用时需小心,不然很容易踩坑。 官方定义: 翻译: 您可以使用此步骤执行 SQL 脚本,可以选择在转换的初始化阶段执行一次,或者针对步骤接收的每一行输入执行一次。第二个
阅读全文
posted @ 2024-06-03 21:41 慕容尘轩
阅读(1952)
评论(0)
推荐(0)
2024年5月25日
kettle从入门到精通 第六十三课 ETL之kettle kettle调用python脚本的两种方法
摘要: kettle中不能直接调用python脚本,可以通过shell脚本和http进行调用pyton服务。 一、shell脚本调用python脚本 1、下面是一段简单的无参python脚本 import os def main(): # 在这里编写Python脚本的主要逻辑 print("Hello, t
阅读全文
posted @ 2024-05-25 10:59 慕容尘轩
阅读(1028)
评论(0)
推荐(0)
2024年5月23日
kettle从入门到精通 第六十二课 ETL之kettle job中发送邮件(带多个附件),闭坑指南
摘要: 1、今天群里一个朋友加我微信遇到问下向我求助。一顿测试下来发现原来是使用kettle姿势不对,对kettle没有完全驾驭导致的,今天和大家一起分享下这个问题。 2、先自我膨胀下,自从写kettle系列文章之后认识了很多朋友,同时文章也帮助了很多人,让更多朋友少走弯路,高效率工作,节省更多时间享受生活
阅读全文
posted @ 2024-05-23 15:46 慕容尘轩
阅读(504)
评论(0)
推荐(0)
2024年5月17日
kettle从入门到精通 第六十一课 ETL之kettle 任务调度器,轻松使用xxl-job调用kettle中的job和trans
摘要: 1、大家都知道kettle设计的job流程文件有个缺点:只能设置简单的定时任务,无法设置复杂的如支持cron表达式的job。 今天给大家分享一个使用xxl-job调度carte的流程文件的示例。整个调度流程图如下: 1)xxl-job-admin,页面可视化配置任务。 2)xxl-job-execu
阅读全文
posted @ 2024-05-17 22:06 慕容尘轩
阅读(1109)
评论(0)
推荐(0)
2024年5月15日
kettle从入门到精通 第六十课 ETL之kettle for循环处理每条数据,so easy!
摘要: 1、kettle原生是支持for循环处理的,无需通过javascript脚本或者java脚本开发for循环控制。当然如果想通过脚本挑战下也是可以的。 本节课主要讲解如何通过kettle中的job来实现for循环控制,如下图所示: 1)步骤【设置变量】设置单个job级别的变量。 2)步骤【转换】加载数
阅读全文
posted @ 2024-05-15 16:27 慕容尘轩
阅读(3668)
评论(0)
推荐(0)
2024年5月12日
kettle从入门到精通 第五十九课 ETL之kettle 邮件发送多个附件,使用正则轻松解决
摘要: 问题场景: 一个朋友说他用kettle将生成好的多个文件(a.xls和b.xls,文件在data目录下)发送给客户,但是data目录下还有其他的文件,他如果指定data目录发送会把 data目录下面的所有文件都作为附件进行发送,显然不符合要求,所以他当时的临时解决方法是创建个临时目录,里面只放a.x
阅读全文
posted @ 2024-05-12 21:35 慕容尘轩
阅读(393)
评论(0)
推荐(0)
2024年5月10日
kettle从入门到精通 第五十八课 ETL之kettle HTTP post使用教程
摘要: 1、今天群里有位朋友问我有没有关于调用http接口的kettle 示例,我下意识的去翻我的公众号推文,愣是没找到。果断开始撸。 2、本次演示流程通过调用接口【网易云音乐随机歌曲】,然后解析返回的数据,接口信息如下图所示: 3、本次演示流程通过调用接口【网易云音乐随机歌曲】,然后解析返回的数据,流程设
阅读全文
posted @ 2024-05-10 21:47 慕容尘轩
阅读(1321)
评论(0)
推荐(0)
2024年5月9日
kettle从入门到精通 第五十七课 ETL之kettle调用存储过程
摘要: 1、之前有个同学说他使用kettle执行一坨sql语句时,kettle直接卡死掉了。我给出的建议是使用存储过程,果不其然使用存储过程顺利解决问题。 今天我们一起来学习下kettle如何调用存储过程,这里基于mysql进行演示。调用存储过程有两种方法:使用步骤【调用DB存储过程】或者步骤【执行SQL脚
阅读全文
posted @ 2024-05-09 13:15 慕容尘轩
阅读(2269)
评论(0)
推荐(0)
2024年5月5日
kettle从入门到精通 第五十六课 ETL之kettle Microsoft Excel Output
摘要: 1、9.4 版本的kettle中有两个Excel输出,Excel输出和Microsoft Excel输出。前者只支持xls格式,后者支持xls和xlsx两种格式,本节课主要讲解步骤Microsoft Excel输出,如下图所示: 1)、步骤【生成记录】生成两条测试数据,每条数据里面包含id和name
阅读全文
posted @ 2024-05-05 21:07 慕容尘轩
阅读(594)
评论(0)
推荐(0)
上一页
1
···
5
6
7
8
9
10
11
12
13
···
19
下一页
公告