Apache Flume 学习

Apache Flume，又称Flume NG (next generation)，前身是Cloudera公司的Flume项目 -- 又称Flume OG。

这货的功能就是从源中将数据收集到指定的目的地，例如从日志文件中收集日志信息，发送到数据库中或其他地方。

 

Apache Flume的三大块：source、channel、sink；也就是 数据源、通道、目的地。

两个主要的channel：①in-memory channel 非持久、速度快；②JDBC-based channel 持久、速度慢。

所有的节点统称agent；每个agent能运行0个或多个sources和sinks。

不再需要master节点；不再需要依赖zookeeper；配置文件简化。