程序猿与攻城狮的二三事......

摘要： 在Flume中使用Event对象来作为传递数据的格式。 Sources端在flume-ng-core子项目中的org.apache.flume.serialization包下，有一个名为LineDeserializer的类，这个类负责把数据按行来读取，每一行封装成一个Event（实现方式：按字... 阅读全文

摘要： 吐槽一下，java对byte的操作太恶心了！无符号数数组转换int类型的代码如下：public static int bytes4ToInt(Unsigned8[] ary) { int value = (((int)ary[3].get())<<24)+(((int)ary[2].get())<<... 阅读全文

摘要： 最近在用Flume做数据的收集。用到了里面的Spooldir的源在使用中有如下的问题：如果文件的某一行有乱码，不符合指定的编码规范，那么flume会抛出一个exception，然后就停在那儿了。spooldir指定的文件夹中的文件一旦被修改，flume就会抛出一个exception，然后停在那儿了。... 阅读全文

摘要： 1 package com.hirain.ftp.thread; 2 3 import java.io.File; 4 import java.io.FileOutputStream; 5 import java.io.IOException; 6 import java.io.In... 阅读全文

摘要： import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.DataOutputStream;import java.io.IOException;import java.util.z... 阅读全文

摘要： HBase是一个类Bigtable系统，按照Google的论文对 Bigtable的定义是“一种稀疏的，分布式的，持久的多为维度的有序Map。这个Map由row key，column key和timestamp做为索引，Map中的值是连续的byte数组”。HBase的多维度，包括table和colu... 阅读全文

摘要： 访问hbase,以及操作hbase，命令不用使用分号hbaseshell进入hbaselist查看表hbaseshell-dhbase(main):024:0>scan'.META.'=============小例子==========================================... 阅读全文

摘要： HBase做为KeyValue结构存储，在存储上是依照RowKey的字典序进行排序，对于很多应用而言这可能远远不够，好在HBase的数据可以存储多个版本，并且版本可以排序，其理论上最大的版本数目Integer.MAX_VALUE，这在一定程度上简化应用端的设计举个例子，假设现在有一个应用，对用户的每... 阅读全文

摘要： 因为一直在做hbase的应用层面的开发，所以体会的比较深的一点是hbase的表结构设计会对系统的性能以及开销上造成很大的区别，本篇文章先按照hbase表中的rowkey、columnfamily、column、timestamp几个方面进行一些分析。最后结合分析如何设计一种适合应用的高效表结构。 ... 阅读全文

摘要： Srping对于属于java web技术的程序员都不会陌生，jdbcTemplate更是用的熟之又熟，下面我们来认识一下Spring大家庭的新成员：Spring-data-hadoop项目。Spring-hadoop这个项目应该是在Spring Data项目的一部分（Srping data其余还... 阅读全文