2018年6月7日
解决Flume采集数据时在HDFS上产生大量小文件的问题
摘要： 问题：flume指定HDFS类型的Sink时，采集数据至HDFS指定目录，会产生大量小文件。 问题重现： 1、创建flume配置文件flume-env.sh，： flume配置文件如下（根据自身需要修改）： 因为flume可以配置多种采集方式，每种采集方式对应一个agent配置文件，flume即通过 阅读全文
posted @ 2018-06-07 18:36 vague233 阅读(4829) 评论(1) 推荐(0)