2017 年 5月 14 日随笔档案 - 鸣凤山

2017年5月14日

摘要：（自己写的插件，数据序列化，格式化抛出的异常都会导致flume停止，不能继续取数据，异常可以自己处理）最近在用Flume做数据的收集。用到了里面的Spooldir的源在使用中有如下的问题：如果文件的某一行有乱码，不符合指定的编码规范，那么flume会抛出一个exception，然后就停在那儿阅读全文

posted @ 2017-05-14 21:00 鸣凤山阅读(1764) 评论(0) 推荐(0) 编辑

Flume 数据采集系统性能优化和关键问题汇总

该文被密码保护。阅读全文

posted @ 2017-05-14 20:44 鸣凤山阅读(0) 评论(0) 推荐(0) 编辑

基于TBDS的flume异常问题排查过程

该文被密码保护。阅读全文

posted @ 2017-05-14 20:34 鸣凤山阅读(1) 评论(0) 推荐(0) 编辑

关于flume中涉及到时间戳的错误解决,Expected timestamp in the Flume even

摘要：在搭建flume集群收集日志写入hdfs时发生了下面的错误： java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null at com.google.common.bas 阅读全文

posted @ 2017-05-14 20:10 鸣凤山阅读(1339) 评论(0) 推荐(0) 编辑

Java NIO 系列教程

摘要： Java NIO(New IO)是一个可以替代标准Java IO API的IO API（从Java 1.4开始)，Java NIO提供了与标准IO不同的IO工作方式。 Java NIO: Channels and Buffers（通道和缓冲区）标准的IO基于字节流和字符流进行操作的，而NIO是基于阅读全文

posted @ 2017-05-14 19:51 鸣凤山阅读(102) 评论(0) 推荐(0) 编辑