Flume 内存channel的数据持久化

flume-ng 1.5 新增一个Spillable memory channel :http://www.tuicool.com/articles/i2mUfqb

 

虽然可以在sink阻塞时候,把event存入file channel,且file channel在flume 被Kill掉再启动时能恢复数据,但是对于在mem channel中得数据还是没法恢复。

另外 配置文件修改,flume重新载入配置,同样也会造成mem chan 数据的丢失。

 

修改成一个在退出时候存储mem channel中数据,启动时恢复现场的channel。 参考修改后的源代码。

 

posted on 2015-02-26 14:19  不忘初衷,方能致远  阅读(1120)  评论(1)    收藏  举报

导航