随笔分类 -  Flume

摘要:问题导读: 1.Flume传输的数据的基本单位是是什么? 2.Event是什么,流向是怎么样的? 3.Source:完成对日志数据的收集,分成什么打入Channel中? 4.Channel的作用是什么? 5.取出Channel中的数据,进行相应的存储文件系统,数据库,或者提交到远程服务器,由谁来完成 阅读全文
posted @ 2015-08-28 20:38 一人浅醉- 阅读(474) 评论(0) 推荐(0)
摘要:问题导读: 1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方? 2.架构设计考虑需要考虑什么问题? 3.Agent死机该如何解决? 4.Collector死机是否会有影响? 5.Flume-NG可靠性(reliability)方面做了哪些措施? 美团的日志收集系统负责美团的所 阅读全文
posted @ 2015-08-27 17:43 一人浅醉- 阅读(1460) 评论(0) 推荐(0)
摘要:问题导读: 1.Flume的存在些什么问题? 2.基于开源的Flume美团增加了哪些功能? 3.Flume系统如何调优? 在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程 阅读全文
posted @ 2015-08-27 17:41 一人浅醉- 阅读(447) 评论(0) 推荐(0)
摘要:问题导读 1.什么是flume? 2.flume包含哪些组件? 3.Flume在读取utf-8格式的文件时会出现解析不了时间戳,该如何解决? Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理, 阅读全文
posted @ 2015-08-27 17:39 一人浅醉- 阅读(1788) 评论(0) 推荐(0)