Channel组件- File Channel
- File Channel:将event写入到磁盘文件中,与Memory Channel相比存 储容量大,无数据丢失风险。
- File Channle数据存储路径可以配置多磁盘文件路径,提高写入文件性能
- Flume将Event顺序写入到File Channel文件的末尾,在配置文件中通
过设置maxFileSize参数设置数据文件大小上限
- 当一个已关闭的只读数据文件中的Event被完全读取完成,并且Sink已经提交读取完成的事务,则Flume将删除存储该数据文件
- 通过设置检查点和备份检查点在Agent重启之后能够快速将File Channle中的数据按顺序回放到内存中
关键参数如下:
type:channel类型为file
checkpointDir:检查点目录,默认在启动flume用户目录下创建,建 议单独配置磁盘路径
useDualCheckpoints:是否开启备份检查点,默认false,建议设置为true开启备份检查点,备份检查点的作用是当Agent意外出错导致写 入检查点文件异常,在重新启动File Channel时通过备份检查点将数据回放到内存中,如果不开启备份检查点,在数据回放的过程中发现检查点文件异常会对所数据进行全回放,全回放的过程相当耗时
backupCheckpointDir:备份检查点目录,最好不要和检查点目录在同 一块磁盘上
checkpointInterval:每次写检查点的时间间隔,默认值30000毫秒
dataDirs:数据文件磁盘存储路径,建议配置多块盘的多个路径,通过磁盘的并行写入来提高file channel性能,多个磁盘路径用逗号隔开
transactionCapacity:一次事务中写入和读取的event最大数,默认值 10000
maxFileSize:每个数据文件的最大大小,默认值:2146435071字节
minimumRequiredSpace:磁盘路径最小剩余空间,如果磁盘剩余空 间小于设置值,则不再写入数据
capacity:file channel可容纳的最大event数
keep-alive:在Channel中写入或读取event等待完成的超时时间,默认值3秒