flume 参考文档 (一)
Flume配置文件(flume-site.conf)
1、 watchdog
|
watchdog.restarts.max |
watchdog每分钟重启的最大数??? |
2、 common node
|
flume.config.heartbeat.period |
node发送心跳周期,默认5000(毫秒) |
|
flume.node.status.port |
node web端口 |
|
flume.node.heartbeat.backoff.ceiling |
node向master发送心跳之后等待反馈的最大时长,默认60000(毫秒) |
|
flume.node.http.autofindport |
如果已有node启动，允许第二个node自动选择一个未使用的端口做web服务。多个node的界面端口从35862、35863向后延续 |
3、agent
|
flume.agent.logdir |
agent日志路径 |
|
flume.agent.logdir.maxage |
当前处于打开状态agent日志文件收集信息的时长,在这之后该日志文件将会被关闭，并将数据发送到网络，默认10000(毫秒) |
|
flume.agent.logdir.retransmit |
在end-to-end模式下agent向collector发送数据失败后再次发送的间隔时长，默认60000(毫秒)，建议至少是flume.collector.roll.millis的两倍 |
|
flume.agent.failover.backoff.initial |
当primary sink(可以认为是第一collector)故障后，重启primary sink的一个延迟时间，在此期间，agent将把数据发送到secondary sink(可能是第二collector) |
|
flume.agent.failover.backoff.max |
在一定时限内尝试链接故障节点失败后，agent将把数据转发向备用节点 |
4、collector
|
flume.collector.event.host |
默认collector地址 |
|
flume.collector.port |
默认collector端口 |
|
flume.collector.dfs.dir |
最终数据发向目录(默认)，可以是本地，可以是hdfs，默认是/tmp |
|
flume.collector.dfs.compress.codec |
压缩格式GzipCodec, DefaultCodec (deflate), BZip2Codec，默认是None |
|
flume.collector.roll.millis |
hdfs文件切换(关闭后新建)的时长 |
|
flume.collector.output.format |
collector发送数据格式avro, avrojson(默认), avrodata… |
5、master
|
flume.master.servers |
用逗号分隔多个master地址列表 |
|
flume.master.store |
master配置存储方式(zookeeper/memory) zookeeper保证master的配置在多master节点之间同步，memory则保存在内存中，其配置随着master宕机而丢失 |
|
flume.master.serverid |
master的唯一标识 |
|
flume.master.http.port |
http端口 |
|
flume.master.heartbeat.missed.max |
判断节点失效的最大未达心跳数 |
|
flume.master.savefile |
当前flume配置文件的路径，默认conf/current.flume |
|
flume.master.savefile.autoload |
启动时是否加载current.flume，默认false |
|
flume.master.gossip.period |
master通信周期(毫秒) |
|
flume.master.heartbeat.rpc |
THRIFT/AVRO |
|
flume.event.rpc |
THRIFT/AVRO |
|
flume.report.server.rpc.type |
THRIFT/AVRO |
6、zookeeper
|
flume.master.zk.logdir |
zookeeper日志路径 |
7、thrift
|
flume.thrift.socket.timeout.ms |
thrift网络连接超时时间(毫秒) |
