Hadoop HBase相关 - 随笔分类 - 南馨

SingleColumnValueFilter与FirstKeyOnlyFilter使用注意

摘要：filterList.addFilter(new SingleColumnValueFilter(Bytes.toBytes("information"), Bytes.toBytes(key),CompareOp.EQUAL, Bytes.toBytes(column.get(key))));fi... 阅读全文

posted @ 2015-06-23 17:12 南馨阅读(1480) 评论(0) 推荐(0)

【转】华为HBase索引模块应用：HBase二级索引模块：hindex调研 2014年10月16日

摘要：文章出处：http://www.batchfile.cn/?p=63HBase二级索引模块：hindex调研hindx是HBase的二级索引方案，为HBase提供声明式的索引，使用协处理器对索引表进行自动创建和维护，客户端不需要对数据进行双写。并且hindex采用了一些巧妙的Rowkey编排方式，使... 阅读全文

posted @ 2015-05-07 15:20 南馨阅读(2007) 评论(0) 推荐(0)

【原创】HBase中查询优化小点

摘要：HBase过滤器（fliter）提供了非常强大的特性来帮助用户提高其处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。在对于HBase集群数据库的查询中即用到了以下几种过滤器：（行键：时间、监测点、车牌号）（1）根据where中的时间条件限制，使用scan... 阅读全文

posted @ 2015-04-08 15:55 南馨阅读(732) 评论(0) 推荐(0)

【原创】HBase中同一条记录重复写入数据库的情况

摘要：如果打算向HBase集群数据库中循环存入10000次同一条记录，有两种修改方法：设置不同的rowkey和设置可存储版本数为10000。（1）不同的rowkey设置方法是在现有的时间、监测点、车牌号的基础上追加随机数以完成同一条记录的存储。（2）设置可存储版本数为10000时，可以将时间戳设置为数据记... 阅读全文

posted @ 2015-04-08 15:44 南馨阅读(4294) 评论(0) 推荐(0)

【原创】Zookeeper集群安装（HBase集群已安装好）

摘要：HBase集群已安装好，在使用了其内置的zookeeper集群出现问题无法解决后改用自己安装的zookeeper集群，HBase集群可成功启动。1、在/home/instal目录下，解压zookeeper-3.4.6到该目录下tar-zxvfzookeeper-3.4.6.tar.gz-C/home... 阅读全文

posted @ 2015-01-14 17:42 南馨阅读(304) 评论(0) 推荐(0)

【原创】HBase集群变更zookeeper问题

摘要：在用华为的hindex-0.94.8时，出现HMaster启动后很短时间内自动关闭的情况，网上查询说是zookeeper的原因，在万般整修无果舍弃了其内部自带的zookeeper集群，自己安装了zookeeper-3.4.6重启后可以正常使用集群。但是出现一个问题，之前的HBase数据库中的表... 阅读全文

posted @ 2015-01-14 16:33 南馨阅读(2003) 评论(0) 推荐(0)

【转】Zookeeper解析、安装、配置

摘要：Zookeeper全解析——Paxos作为灵魂http://www.douban.com/note/208430424/?qq-pf-to=pcqq.discussionZooKeeper-3.3.4集群安装配置http://blog.csdn.net/shirdrn/article/details... 阅读全文

posted @ 2015-01-13 13:55 南馨阅读(115) 评论(0) 推荐(0)

【原创】HBase 查询过程中关于scan.setFilter和scan.addColumn的使用

摘要：在对HBase数据库的查询中，用到了SingleColumnValueFilter用于实现对于时间列中某一段时间记录的过滤，并且使用scan.addColumn获取结果中的某一列，具体使用如下：Scan scan = new Scan(); List filters = new ArrayList(... 阅读全文

posted @ 2014-12-24 16:30 南馨阅读(2070) 评论(0) 推荐(0)

【转】华为Hbase二级索引（Secondary Index）细节分析

摘要：华为在HBTC 2012上由其高级技术经理Anoop Sam John透露了其二级索引方案，这在业界引起极大的反响，甚至有人认为，如果华为早点公布这个方案，hbase的某些问题早就解决了。其核心思想是保证索引表和主表在同一个region server上。更新：目前该方案华为已经开源，详见：https... 阅读全文

posted @ 2014-12-08 10:27 南馨阅读(399) 评论(0) 推荐(0)

【原创】快速编写和运行一个属于自己的MapReduce例子程序

摘要：如何快速地编写和运行一个属于自己的MapReduce例子程序原文出处：http://www.it165.net/pro/html/201403/11128.html首先有两个前提：1.有一个已经可以运行的hadoop集群（也可以是伪分布系统)，上面的hdfs和mapreduce工作正常（这个真的是... 阅读全文

posted @ 2014-11-20 20:58 南馨阅读(197) 评论(0) 推荐(0)

【原创】我需要运行几个ZooKeeper?

摘要：由于Zookeeper采用了Paxos算法来进行选举，因此实际能够有效参与选举的节点数量是奇数。你运行一个zookeeper也是可以的，但是在生产环境中，你最好部署3，5，7个节点。部署的越多，可靠性就越高，当然最好是部署奇数个，偶数个不是不可以的，但是zookeeper集群是以宕机个数过半才会让... 阅读全文

posted @ 2014-11-20 20:15 南馨阅读(326) 评论(0) 推荐(0)

【原创】一个Hadoop集群上搭建多个Hbase集群

摘要：即不同的集群在hdfs上建立不同的根目录和Zooeekper的根目录。如图所示：原来的hbase-0.94.14版本中在hdfs上目录是hbase，zookeeper的根目录是zookeeper_data。hbase-0.96.8版本中在hdfs上目录是index，zookeeper的根目录是zoo... 阅读全文

posted @ 2014-11-20 19:55 南馨阅读(530) 评论(0) 推荐(0)

【原创】Hadoop HBase集群安装

摘要：HADOOPHBASE安装部署Hadoop1.2.1版本HBase0.94.14版本声明：所有的配置均是在主节点上完成，配置完成后只需将主节点已配置好的文件夹拷贝到从节点对应的目录即可。集群的扩展修改部分：1、修改/hadoop-1.2.1/conf/下的master和slaves文件2、修改/et... 阅读全文

posted @ 2014-11-20 19:48 南馨阅读(251) 评论(0) 推荐(0)

随笔分类 - Hadoop HBase相关