【转载】日志收集系统比较

原文地址：http://c20031776.blog.163.com/blog/static/684716252013111041730254/

 

=========== taobao time tunnel ==============

通过zookeeper注册和监控消费节点。从而完成分布式的日志收集。

 

=========== facebook scribe ================

通过thrift通信框架，生成各种语言的client端，收集日志。最后存入hdfs。

日志可以根据category分类存储到不同介质。

似乎没有涉及到分布式server解决方案。

 

=========== hadoop chukwa ================

支持自定义adapter，支持分钟级别的M/R实时计算。

 

=========== linkedin kafka =============

通过zookeeper进行负载均衡，broker采用zero-copy技术及时将数据持久化， 采用生产者push、消费者pull的模式，对消息进行分类处理。

 

============= cloudera flume ============

通过master进行负载均衡，通过zookeeper防止master单点问题