Flume hdfs sink

 

1. 一个callTime 线程池

2. 一个roolTime 线程池

3. 一个LinkHashTable<String, BucketWriter> 维持打开的文件.(BuckerWriter 由hdfsWriter 代表 HDFSDataStream 或者 HDFSCompressedDataStream 或者HDFSSequenceFile)

BucketWriter 包含 closeCallBacker，callTimeoutPool，timedRollerPool

4. process 函数里就是调用bucketWriter的append方法