安装flume

一、安装flume

1.解压安装包

 

 

 切换到解压路径下，将解压的文件名改为flume，简化操作：

 

 

2.配置环境变量

 添加如下代码，JAVA_HOME已经设置的按照之前的设置即可：

修改flume-env.sh配置文件：

 

 

 

 

 

 添加下面一行，用于设置JAVA_HOME变量：

 

 

 由于会与安装的hbase有冲突，将hbase的hbase.env.sh一行的配置注销即可

 

 

 

3.查看 flume 版本信息

安装成功则出现如下

二、测试flume

1.案例 1：Avro source Avro 可以发送一个给定的文件给 Flume，Avro 源使用 AVRO RPC 机制。

 

 

 

a）创建agent配置文件

 

 

 然后写入如下内容：

 

 

 上面 Avro Source 参数说明如下： Avro Source 的别名是 avro,也可以使用完整类别名称 org.apache.flume.source.AvroSource，因此，上 面有一行设置是 a1.sources.r1.type = avro，表示数据源的类型是 avro。 bind 绑定的 ip 地址或主机名，使用 0.0.0.0 表示绑定机器所有的接口。a1.sources.r1.bind = 0.0.0.0，就 表示绑定机器所有的接口。 port 表示绑定的端口。a1.sources.r1.port = 4141，表示绑定的端口是 4141。 a1.sinks.k1.type = logger，表示 sinks 的类型是 logge

 b) 启动 flume agent a1

c) 创建指定文件 先打开另外一个终端，在/usr/local/flume 下写入一个文件 log.00,内容为 hello,world:

我们再打开另外一个终端，执行bin/flume-ng avro-client --conf conf -H localhost -p 4141 -F /usr/local/flume/log.00

 

 

 

 

 

 

 

 

 此时我们可以看到第一个终端（agent 窗口）下的显示，也就是在日志控制台，就会把 log.00 文件的内 容打印出来：

 

 

 

 

2.案例 2：netcatsource

a) 创建 agent

 

 

 输入如下内容：

 

 

 

 

 

 

 b)启动 flume agent (即打开日志控制台)：

 

 

 

 

 

 再打开一个终端，输入命令:telnet localhost 44444

然后我们可以在终端下输入任何字符，第一个终端的日志控制台也会有相应的显示，如我们输 入”hello,world”、“hey boy” ,

 

 

 如上则netcatsource 运行成功！