随笔分类 -  迎来送往-Flume

flume配置文件
摘要:上一张初识里面谢了一些flume入门的内容,其实在真正工作环境里面这种情况使用的是很少的,大部分情况,我们可能需要从多台设备的日志里面汇总收集数据并存储到HDFS上,以便于后期对数据进行处理,真实的情况可能是这样的,分别根据不同的消息来源进行不同的处理,不同的存储.. 上面只是一个大致情况,一般情况 阅读全文
posted @ 2019-03-16 19:21 秋风催落叶 阅读(525) 评论(0) 推荐(0)
摘要:一、flume特点 flume是目前大数据领域数据采集的一个利器,当然除了flume还有Fluentd和logstash,其他的目前来说并没有深入的了解,但是我觉得flume能够在大数据繁荣的今天屹立不倒,应该有以下几点: 1. Flume可以将应用产生的数据存储到任何集中存储器中,完美的介入HDF 阅读全文
posted @ 2018-11-12 15:32 秋风催落叶 阅读(330) 评论(0) 推荐(2)