2014年12月11日
shell脚本监控Flume输出到HDFS上文件合法性
摘要： 在使用flume中发现由于网络、HDFS等其它原因，使得经过Flume收集到HDFS上得日志有一些异常，表现为：1、有未关闭的文件：以tmp(默认)结尾的文件。加入存到HDFS上得文件应该是gz压缩文件，以tmp为结尾的文件就无法使用；2、有大小为0的文件，比如gz压缩文件大小为0，我们单独拿下这个... 阅读全文
posted @ 2014-12-11 12:11 玖疯 阅读(2047) 评论(2) 推荐(0) 编辑