随笔分类 -  flume

数据采集
Hadoop平台安装
摘要：Hadoop 集群环境安装手册 [TOC] 一、JDK安装 1.1 JDK1.8下载 ​到oracle官网下载 "jdk 8u101 linux x64.tar.gz" ​先查找并卸载自带openJDK ​解压 "jdk 8u101 linux x64.tar.gz" 到安装目录，如果没有特别说明， 阅读全文
posted @ 2018-11-03 15:24 秋水无声 阅读(218) 评论(0) 推荐(0)
Flume应用
摘要：Flume配置说明 1.部署结构图 2.Agent配置 数据流图： 3.Collector配置 数据流图： 4.Interceptor ​在event前置拦截器，可以根据数据添加一些header，例如type、partition、date，用于数据归类和分区，还可以做一些简单过滤工作（flume自带 阅读全文
posted @ 2017-09-24 00:15 秋水无声 阅读(206) 评论(0) 推荐(0)