分布式日志收集框架Flume

先上图

Flume架构及核心组件

1) Source   收集  

 

2) Channel  聚集

 

3) Sink     输出

 

Flume安装前置条件 

1.需要jdk1.7及以上

2.安装部署的机器需要足够大的内存

3.安装部署的机器需要足够大的磁盘空间

4.读写权限

 

使用Flume的关键就是写配置文件 

A） 配置Source

B） 配置Channel

C） 配置Sink

D） 把以上三个组件串起来

 

安装好Flume之后再conf文件夹建立配置文件，名为netcat-memory-logger.conf 

 

a1: agent名称

r1: source的名称

k1: sink的名称

c1: channel的名称

以上是对配置文件各个组件的解释内容

以下是配置文件内容

 

#分别配置agent的sources、channels和sinks

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

 

# 配置数据来源 注意hadoop000 是机器名称

a1.sources.r1.type = netcat

a1.sources.r1.bind = hadoop000

a1.sources.r1.port = 44444

 

# 配置输出组件的类型是输出到控制台上

a1.sinks.k1.type = logger

 

# 使用机器的内存作为缓冲存储的

a1.channels.c1.type = memory

 

# 把agent的3个组件串联起来 注意channels和channel的区别

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

 

下面是启动

启动agent

flume-ng agent \

--name a1  \

--conf $FLUME_HOME/conf  \

--conf-file $FLUME_HOME/conf/netcat-memory-logger.conf \

-Dflume.root.logger=INFO,console

 

以上内容是基于学习网站视频老师的笔记作为修改上传的