随笔分类 -  Kettle

摘要:使用kettle将网页图片转存到数据库 使用kettle将网站上图片以二进制流存到数据库中 Kettle整体 1.生成记录放入图片地址,通过url字段传递 2.HTTP web service插件 勾选从字段获取url,并选择生成记录中放入的url字段,encoding选择ISO-8859-1 3. 阅读全文
posted @ 2021-12-24 12:07 倾城旧梦 阅读(1265) 评论(0) 推荐(0)
摘要:使用kettle及正则对内容中的身份证号做脱敏处理 按照业务要求,将包含身份证号的内容进行脱敏处理,处理过程中使用正则表达式进行查询和处理。 select REGEXP_COUNT(字段,'[1-9]\d{5}(18|19|20)\d{2}((0[1-9])|(1[0-2]))(([0-2][1-9 阅读全文
posted @ 2021-11-22 10:01 倾城旧梦 阅读(2773) 评论(0) 推荐(0)
摘要:kettle从FTP下载文本文件到本地 从远程FTP下载文件到本地,一般应用是定时从ftp服务器批量下载文件,然后根据文件类型走不同的导入方式,把数据导入数据库, 1、新建一个作业,点击新建按钮,新建作业,然后在核心对象-通用里面,拖进来开始和结束节点 2、然后从文件传输目录下,把FTP下载拖拽到右 阅读全文
posted @ 2021-11-22 09:26 倾城旧梦 阅读(3319) 评论(0) 推荐(0)
摘要:kettle发送邮件 使用kettle发送邮件是为了更好的监控ETL的加载信息 1. JOB示意图 2.2.邮件发送配置详细信息 2.1地址信息配置 2.2 邮件服务器信息配置 此处的密码为授权码,授权码在邮箱设置中获取 2.3邮件消息配置(此处随便设置) 3.Kettle执行完毕后会在邮箱中发送k 阅读全文
posted @ 2021-05-31 18:12 倾城旧梦 阅读(733) 评论(0) 推荐(0)
摘要:使用kettle批量调用接口,并将接口获取的数据保存下来 阅读全文
posted @ 2020-10-19 15:18 倾城旧梦 阅读(8891) 评论(0) 推荐(0)