会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Huidoo Yang
痴心象马戏 似小丑眼内希冀
博客园
首页
新随笔
联系
订阅
管理
随笔分类 -
ETL
数据抽取、转换与装载
部署Kettle做ETL开发并使用Crontab制作调度系统
摘要:Linux环境下部署Kettle,Kettle配置文件的使用说明。制作作业调度脚本、日志清理脚本,使用Crontab做定时任务。最终达到一键上传,实现脚本上线,并可在相应日志中查看每个调度周期脚本执行情况。本文旨在记录Kettle的部署及配置文件配置注意事项和如何自制简易调度系统,以便处理类似问题时方案的复用。
阅读全文
posted @
2019-08-26 08:48
Huidoo_Yang
阅读(3052)
评论(0)
推荐(0)
[ETL] Flume 理论与demo(Taildir Source & Hdfs Sink)
摘要:Flume的概述,基本组件,工作原理。Source、Sink、Channel的种类介绍。Taildir Source和HDFS Sink的属性配置。以及使用变量,动态生成hdfs的path路径。
阅读全文
posted @
2018-03-20 20:30
Huidoo_Yang
阅读(1990)
评论(0)
推荐(1)
公告