摘要： Hbase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式： row 阅读全文

摘要： hbase的scan查询功能注意项： Scan scan = new Scan(); scan.setStartRow(“5193:”); scan.setStopRow(“5194:”); ResultScanner result = table.getScanner(scan); for (Re 阅读全文

摘要： hbase本身提供了 聚合方法可以服务端聚合操作 hbase中的CoprocessorProtocol机制. CoprocessorProtocol的原理比较简单，近似于一个mapreduce框架。由client将scan分解为面向多个region的请求，并行发送请求到多个region，然后clie 阅读全文

摘要： 先说一下ACK机制： 为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪。 这里面涉及到ack/fail的处理，如果一个tuple处理成功是指这个Tuple以及这个Tuple产生的所有Tuple都被成功处理, 会调用spout的ack方法； 如果失败是指这个 阅读全文

摘要： 一、任务执行及通信的单元 Storm中关于任务执行及通信的三个概念：Worker（进程）、Executor（线程）和Task（Spout、Bolt） 1、 一个worker进程执行的是一个Topology的子集（不会出现一个worker进程为多个Topology服务），一个worker进程会启动一个 阅读全文

摘要： 3.1. 基于列族过滤数据的FamilyFilter 构造函数： FamilyFilter(CompareFilter.CompareOp familyCompareOp, ByteArrayComparable familyComparator) 个人实测代码： HTable table = HB 阅读全文

摘要： 比较容易理解 用来随机抽取 RandomRowFilter：从名字上就可以看出其大概的用法，本过滤器的作用就是按照一定的几率（<=0会过滤掉所有的行，>=1会包含所有的行）来返回随机的结果集，对于同样的数据集，多次使用同一个RandomRowFilter会返回不通的结果集，对于需要随机抽取一部分数据 阅读全文

摘要： 主要用来过滤剩下行键计数一类 KeyOnlyFilter 官方API解释如下： A filter that will only return the key component of each KV (the value will be rewritten as empty). This filte 阅读全文

摘要： 最近在公司做hbase就打算复习下它的过滤器以便不时之需，RowFilter根据行键（rowkey）筛选数据 public void filter() throws IOException { Filter rf = new RowFilter(CompareFilter.CompareOp.LES 阅读全文

摘要： yarn -jar xx.jar 此时包会提交到集群上运行 也可以把jar包放到hbase 的lib下面用hbase jar 方式调用 阅读全文