随笔分类 -  ETL

数据抽取、转换与装载
摘要:Linux环境下部署Kettle,Kettle配置文件的使用说明。制作作业调度脚本、日志清理脚本,使用Crontab做定时任务。最终达到一键上传,实现脚本上线,并可在相应日志中查看每个调度周期脚本执行情况。本文旨在记录Kettle的部署及配置文件配置注意事项和如何自制简易调度系统,以便处理类似问题时方案的复用。 阅读全文
posted @ 2019-08-26 08:48 Huidoo_Yang 阅读(3052) 评论(0) 推荐(0)
摘要:Flume的概述,基本组件,工作原理。Source、Sink、Channel的种类介绍。Taildir Source和HDFS Sink的属性配置。以及使用变量,动态生成hdfs的path路径。 阅读全文
posted @ 2018-03-20 20:30 Huidoo_Yang 阅读(1990) 评论(0) 推荐(1)