Flume 简介

Flume 是什么

Flume 是一个开源的分布式数据收集框架,可以提供一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统

当前 Flume 有两个版本 Flume 0.9X 版本的统称 Flume-og,Flume1.X 版本的统称 Flume-ng。由于 Flume-ng 经过重大重构,与Flume-og 有很大不同,使用时请注意区分

Flume 能干什么

  • 提供从固定目录下采集日志信息到目的地(HDFS,HBase,Kafka 等)的能力
  • 提供实时采集日志信息到目的地的能力
  • FLume 支持级联(多个 Flume 联结起来)合并数据的能力
  • Flume 支持按照用户定制采集数据的能力

Flume 的特性

  • 提供上下文路由特征
  • Flume的管道是基于事务,保证了数据在传送和接收时的一致性
  • Flume是可靠的,容错性高的,可升级的,易管理的,并且可定制的。
  • Flume可以将应用产生的数据存储到任何集中存储器中,比如HDFS,HBase
  • 可以被水平扩展
  • 当收集数据的速度超过将写入数据的时候,也就是当收集信息遇到峰值时,这时候收集的信息非常大,甚至超过了系统的写入数据能力,这时候,Flume 会在数据生产者和数据收容器间做出调整,保证其能够在两者之间提供平稳的数据.
posted @ 2022-01-28 20:47  追こするれい的人  阅读(143)  评论(0编辑  收藏  举报