摘要: 一、概述: 本节首先提供一个基于netcat的source+channel(memory)+sink(logger)的数据传输过程。然后剖析一下NetcatSource中的代码执行逻辑。 二、flume配置文件: 下面的配置文件netcat.conf中定义了source使用netcat,它会监听44444端口。 # Name the components on this agent ... 阅读全文
posted @ 2016-01-22 21:54 于辰 阅读(5773) 评论(0) 推荐(1) 编辑
摘要: 上一节搭建了flume的简单运行环境,并提供了一个基于netcat的演示。这一节继续对flume的整个流程进行进一步的说明。 一、flume的基本架构图: 下面这个图基本说明了flume的作用,以及flume中的基本组件:source、channel、sink。 Source:完成对日志数据的收集,分成transtion 和 event 打入到channel之中。 Channel:主要提... 阅读全文
posted @ 2016-01-22 17:42 于辰 阅读(811) 评论(0) 推荐(0) 编辑