[置顶] 【原创】Kafka接受发送消息对象Object基础版

摘要: 首先感谢 kafka 中国社区 王扬庭例子的帮助和指导~~~~~(kafka_2.9.2-0.8.1.1)kafka常用的发送消息的方法如下:Properties props = new Properties();props.put("zookeeper.connect", "slaves2:218... 阅读全文

posted @ 2015-05-19 16:58 南馨 阅读(3329) 评论(0) 推荐(1) 编辑

2015年6月23日

SingleColumnValueFilter与FirstKeyOnlyFilter使用注意

摘要: filterList.addFilter(new SingleColumnValueFilter(Bytes.toBytes("information"), Bytes.toBytes(key),CompareOp.EQUAL, Bytes.toBytes(column.get(key))));fi... 阅读全文

posted @ 2015-06-23 17:12 南馨 阅读(1428) 评论(0) 推荐(0) 编辑

2015年6月12日

【转】MapReduce:详解Shuffle过程

摘要: 原文:http://langyu.iteye.com/blog/992916Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在... 阅读全文

posted @ 2015-06-12 19:33 南馨 阅读(206) 评论(0) 推荐(0) 编辑

2015年5月7日

【转】华为HBase索引模块应用:HBase二级索引模块:hindex调研 2014年10月16日

摘要: 文章出处:http://www.batchfile.cn/?p=63HBase二级索引模块:hindex调研hindx是HBase的二级索引方案,为HBase提供声明式的索引,使用协处理器对索引表进行自动创建和维护,客户端不需要对数据进行双写。并且hindex采用了一些巧妙的Rowkey编排方式,使... 阅读全文

posted @ 2015-05-07 15:20 南馨 阅读(1940) 评论(0) 推荐(0) 编辑

2015年4月8日

【原创】HBase中查询优化小点

摘要: HBase过滤器(fliter)提供了非常强大的特性来帮助用户提高其处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。在对于HBase集群数据库的查询中即用到了以下几种过滤器:(行键:时间、监测点、车牌号)(1)根据where中的时间条件限制,使用scan... 阅读全文

posted @ 2015-04-08 15:55 南馨 阅读(701) 评论(0) 推荐(0) 编辑

【原创】HBase中同一条记录重复写入数据库的情况

摘要: 如果打算向HBase集群数据库中循环存入10000次同一条记录,有两种修改方法:设置不同的rowkey和设置可存储版本数为10000。(1)不同的rowkey设置方法是在现有的时间、监测点、车牌号的基础上追加随机数以完成同一条记录的存储。(2)设置可存储版本数为10000时,可以将时间戳设置为数据记... 阅读全文

posted @ 2015-04-08 15:44 南馨 阅读(4167) 评论(0) 推荐(0) 编辑

【转载】数据库分片(Sharding)与分区(Partition)的区别

摘要: Sharding不是一个某个特定数据库软件附属的功能,而是在具体技术细节之上的抽象处理,是水平扩展(Scale Out,亦或横向扩展、向外扩展)的解决方案,其主要目的是为突破单节点数据库服务器的 I/O 能力限制,解决数据库扩展性问题。Sharding 的应用场景 任何技术都是在合适的场合下能发挥... 阅读全文

posted @ 2015-04-08 15:18 南馨 阅读(4863) 评论(0) 推荐(0) 编辑

2015年1月30日

【原创】MySQL Cluster安装部署(Success)

摘要: 参考:http://www.cnblogs.com/zhoulf/archive/2013/01/30/2883207.html安装要求安装环境:centos6.3(X64)软件名称:mysql-cluster-gpl-7.3.8-linux-glibc2.5-x86_64.tar.gz(通用版)管... 阅读全文

posted @ 2015-01-30 11:23 南馨 阅读(370) 评论(0) 推荐(0) 编辑

2015年1月14日

【原创】Zookeeper集群安装(HBase集群已安装好)

摘要: HBase集群已安装好,在使用了其内置的zookeeper集群出现问题无法解决后改用自己安装的zookeeper集群,HBase集群可成功启动。1、在/home/instal目录下,解压zookeeper-3.4.6到该目录下tar-zxvfzookeeper-3.4.6.tar.gz-C/home... 阅读全文

posted @ 2015-01-14 17:42 南馨 阅读(298) 评论(0) 推荐(0) 编辑

【原创】HBase集群变更zookeeper问题

摘要: 在用华为的hindex-0.94.8时,出现HMaster启动后很短时间内自动关闭的情况,网上查询说是zookeeper的原因,在万般整修无果舍弃了其内部自带的zookeeper集群,自己安装了zookeeper-3.4.6重启后可以正常使用集群。但是出现一个问题,之前的HBase数据库中的表... 阅读全文

posted @ 2015-01-14 16:33 南馨 阅读(1978) 评论(0) 推荐(0) 编辑

导航