代码王子

摘要： 为了保证HBase集群的高可靠性，HBase支持多Backup Master 设置。当Active Master挂掉后，Backup Master可以自动接管整个HBase的集群。 该配置极其简单： 在$HBASE_HOME/conf/ 目录下新增文件配置backup-masters，在其内添加... 阅读全文

摘要： （1）数据规模 Bigtable类数据库系统（HBase,Cassandra等）是为了解决海量数据规模的存储需要设计的。这里说的海量数据规模指的是单个表存储的数据量是在TB或者PB规模，单个表是由千亿行*千亿列这样的规模组成的。提到这个数据规模的问题，不得不说的就是现在在NoSQL市场中，最... 阅读全文

摘要： flush触发方式 1. Server端执行更新操作（put、delete、multi(MultiActionmulti)、（private）checkAndMutate、mutateRow (byte[] regionName, RowMutations rm)）执行前后触发内存检查 操作... 阅读全文

摘要： 编者按：原文作者Alan Skorkin是一名软件开发人员，他在博客中分享对软件开发相关的心得，其中有很多优秀的文章，本文是其中的另一篇。Alan认为：阅读优秀代码是提高开发人员修为的一种捷径。以下是全文。 我突然想起来，很多程序员都讨厌阅读代码。来吧，承认吧！ 每个人都喜欢编写代... 阅读全文

摘要： master启动过程： -->首先初始化HMaster -->创建一个rpcServer，其中并启动 -->启动一个Listener线程，功能是监听client的请求，将请求放入nio请求队列，逻辑如下： -->创建n个selector，和一个n个线程的readpool，n由"ipc.ser... 阅读全文

摘要： 1 行锁简介 在事务特性方面，hbase只支持单row的事务，不能保证跨row(cross-row)的事务。hbase通过行锁来实现单row事务。客户端进行操作时，可以显式对某一个行加锁，但是大部分情况下是没有必要的，因为如果没有显式的加行锁，hbase在内部会默认的加行锁。为了描述方便，用户... 阅读全文

摘要： 在实际的生产环境运维一个Hadoop集群有一些必须要关注的事情。 1、Namenode的高可靠性 2、节点配置与管理 3、Mapreduce的内存配置 4、启用trash 首要的是保证数据安全可靠，其次再去考虑存储效率、计算效率、运维效率的优化与提高，当你觉得Hadoop集群的性能太差太差... 阅读全文

摘要： bulk-load的作用是用mapreduce的方式将hdfs上的文件装载到hbase中，对于海量数据装载入hbase非常有用，参考http://hbase.apache.org/docs/r0.89.20100621/bulk-loads.html： hbase提供了现成的程序将hdfs上的... 阅读全文

摘要： hbase只支持对gzip的压缩,对lzo压缩支持不好。在io成为系统瓶颈的情况下，一般开启lzo压缩会提高系统的吞吐量。但这需要参考具体的应用场景，即是否值得进行压缩、压缩率是否足够等等。 想要hbase支持lzo压缩，参照以下步骤： 1 首先要让系统支持lzo动态库，安装lzo-2.00以... 阅读全文

摘要： 信息论 信息是关于事物的运动状态和规律的认识，它可以脱离具体的事物而被摄取、传输、存贮、处理和变换。 信息论，就是用数理统计方法研究信息的基本性质以及度量方法，研究最佳解决信息的摄取、传输、存贮、处理和变换的一般规律的科学。它的成果将为人们广泛而有效地利用信息提供基本的技术方... 阅读全文