摘要：1、概述：最近，有一些工程师问我有关HBase的基本架构的问题，其实这个问题仅仅说架构是非常简单，但是需要理解。在这里，我觉得可以用HDFS的架构作为借鉴。（其实像Hadoop生态系统中的大部分组建的架构原理是类似，不信你往下看）2、介绍架构（1）HDFS例子 在这里我以我比较熟悉的HDFS分布... 阅读全文

摘要：1、项目介绍： 由于大数据部门涉及到其他部门将数据传到数据中心，大部分公司采用的方式是用json文件的方式传输，因此就需要编写服务端和客户端的小程序了。而我主要实现服务端的代码，也有相应的客户端的测试代码。这里须有一个需要提到的是，我在实现接收json文件的同时，而且还需将数据写到hbase中。写... 阅读全文

摘要：业务需求说明，由于公司数据中心处于刚开始部署的阶段，这需要涉及其它部分将数据全部汇总到数据中心，这实现的方式是同上传json文件，通过采用socket&serversocket实现传输。其中，服务端采用多线程的方式，实现多用户传输的目的。并且实现可以将数据写入到hbase中。具体步骤如下：1、首先编... 阅读全文

摘要：hbase当中没有两表联查的操作，要实现两表联查或者在查询一个表的同时也需要访问另外一张表的时候，可以通过mapreduce的方式来实现，实现方式如下：由于查询是map过程，因此这个过程不需要设计reduce过程。（1）map的实现package com.datacenter.HbaseMapRed... 阅读全文

摘要：上一篇文章是实现统计hbase单元值出现的个数，并将结果存放到hbase的表中，本文是将结果存放到hdfs上。其中的map实现与前文一直，连接：http://www.cnblogs.com/ljy2013/p/4820056.html，下面主要介绍一下reduce的实现：（1）reduce的实现pa... 阅读全文

摘要：我们知道，hbase没有像关系型的数据库拥有强大的查询功能和统计功能，本文实现了如何利用mapreduce来统计hbase中单元值出现的个数，并将结果携带目标的表中，（1）mapper的实现package com.datacenter.HbaseMapReduce.Summary;import ja... 阅读全文

摘要：上面一篇文章仅仅是介绍如何通过mapReduce来对HBase进行读的过程，下面将要介绍的是利用mapreduce进行读写的过程，前面我们已经知道map实际上是读过程，reduce是写的过程，然而map也可以实现写入的过程，因此可以通过map实现读写的过程。具体实现如下所示：（1）map的实现pac... 阅读全文

摘要：最近在学习HBase，在看到了如何使用Mapreduce来操作Hbase，下面将几种情况介绍一下，具体的都可以参照官网上的文档说明。官网文档连接：http://hbase.apache.org/book.html 。通过学习我个人的对MapReduce操作HBase的方式可以看作的是Map过程是负责... 阅读全文

摘要：（1） Bloomfilter在hbase中的作用 Hbase利用bloomfilter来提高随机读（get）的性能，对于顺序读（scan）而言，设置Bloomfilter是没有作用的（0.92版本以后，如果设置了bloomfilter为rowcol，对于执行了qualifier的scan有　... 阅读全文

摘要：（1） 什么是快照 快照就是一份元信息的合集，允许管理员恢复到表的先前状态，快照不是表的复制而是一个文件名称列表，因而不会复制数据。 完全快照恢复是指恢复到之前的表结构以及当时的数据快照之后发生的数据不会恢复。（2） 快照的作用 Hbase中存在的备份或克隆表的方法就是使用复制/导... 阅读全文

摘要：最近在学习hbase，学到利用如何将数据导入到hbase中，采用的方式是批量导入：bulk load的方法，中间出现了一些问题，下面将执行的步骤记录一下，以供日后查阅： 说明：导入的方式是将csv文件的内容导入到hbase中。1、首先是将csv文件上传到hdfs上。 hadoop fs -put s... 阅读全文

摘要：1、描述： 每日一样，例行打开hadoop集群的cloudera manager的管理界面。发现出现了多个bad health的服务。那么出现的这个问题就是查看该服务运行的日志，对应的该服务当中，会包含相应的角色，其中，查看日志的时候可以看每一个角色的运行日志。通过查看日志，发现HBase出现了j... 阅读全文

摘要：1、错误描述： 出现上述这个错误的原因是我之前已经安装了Cloudera Manager中的CDH，其中添加了所有的服务，当然也包含HBase。然后重新安装的时候，就会出现如下错误： Failed to become active master，org.apache.hadoop.hbase.T... 阅读全文