Flume - 随笔分类 - 鸣凤山

该文被密码保护。

posted @ 2017-06-29 21:15 鸣凤山阅读(0) 评论(0) 推荐(0)

摘要：（自己写的插件，数据序列化，格式化抛出的异常都会导致flume停止，不能继续取数据，异常可以自己处理）最近在用Flume做数据的收集。用到了里面的Spooldir的源在使用中有如下的问题：如果文件的某一行有乱码，不符合指定的编码规范，那么flume会抛出一个exception，然后就停在那儿阅读全文

posted @ 2017-05-14 21:00 鸣凤山阅读(1831) 评论(0) 推荐(0)

Flume 数据采集系统性能优化和关键问题汇总

该文被密码保护。

posted @ 2017-05-14 20:44 鸣凤山阅读(0) 评论(0) 推荐(0)

基于TBDS的flume异常问题排查过程

该文被密码保护。

posted @ 2017-05-14 20:34 鸣凤山阅读(1) 评论(0) 推荐(0)

关于flume中涉及到时间戳的错误解决,Expected timestamp in the Flume even

摘要：在搭建flume集群收集日志写入hdfs时发生了下面的错误： java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null at com.google.common.bas 阅读全文

posted @ 2017-05-14 20:10 鸣凤山阅读(1552) 评论(0) 推荐(0)

随笔分类 - Flume