2020年12月26日
Flume 拦截器
摘要： Flume内置拦截器 官方文档 http://flume.apache.org/FlumeUserGuide.html Timestamp Interceptor、Host Interceptor、Static Interceptor等等，可以直接拿来用， 以Timestamp Intercepto 阅读全文
posted @ 2020-12-26 19:21 leafgood 阅读(162) 评论(0) 推荐(0) 编辑
Flume 事务和内部原理
摘要： 1.Flume 事务 Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到sink的事件传递。 在Source到Channel之间的叫put事务，在Channel到Sink之间的叫Take事务。 事务两个特性就是：成功了提交，失败了回滚。 1.1 put事务 阅读全文
posted @ 2020-12-26 16:55 leafgood 阅读(457) 评论(0) 推荐(0) 编辑
Flume source
摘要： 1 Flume source常用类型 1.1 Avro Source 1.1.1 概述 文档定义： Listens on Avro port and receives events from external Avro client streams. When paired with the bui 阅读全文
posted @ 2020-12-26 12:00 leafgood 阅读(265) 评论(0) 推荐(0) 编辑
Flume入门与进阶
摘要： 一.Flume基础 二.Flume Source 三.Flume 事务和内部原理 四.Flume 拦截器 阅读全文
posted @ 2020-12-26 09:31 leafgood 阅读(109) 评论(0) 推荐(0) 编辑
Flume基础
摘要： 1.Flume概述 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据; 同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 2.Flume基础组成 2.1 Agent F 阅读全文
posted @ 2020-12-26 09:27 leafgood 阅读(137) 评论(0) 推荐(0) 编辑