摘要： HFile存储格式 HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括两种文件类型： 1. HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底... 阅读全文

摘要： 一、简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007... 阅读全文

摘要： 1 概述 Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是 LaTeX 中的"La"，此人现在在微软研究院）于1990年提出的一种基于消息传递的一致性算法。[1] 这个算法被认为是类似算法中最有效的。 2写在之前 Paxos 算法解决的问题是一个分布式系统如何就某个值（决议）... 阅读全文

摘要： Paxos是分布式应用中解决同步问题的核心。作为应用研发工程师，我们总是倾向于使用一种相对简洁的方式实现复杂的算法。ZooKeeper leader election实现就是一个非常好的参考。 其实现比标准Paxos算法简单，基本过程是： 1 ... 阅读全文

摘要： 由于zookeeper的client只有zookeeper一个对象，使用也比较简单，所以就不许要文字说明了，在代码中注释下就ok 了。 1、测试用的main方法 package ClientExample;public class TestMain { public static void ma... 阅读全文

摘要： 本文主要讲述ZooKeeper的数据模型，包括ZooKeeper的数据视图，节点的层次结构以及节点类型等基本属性。Zookeeper的视图结构类似标准的Unix文件系统，但是没有引入文件系统相关概念：目录和文件，而是使用了自己特有的节点(node)概念，称为znode。Znode是ZooKeep... 阅读全文

摘要： zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。 zookeeper安装和使用 zookeeper的... 阅读全文

摘要： 前面提到，在zookeeper server的配置文件zoo.cfg中可以通过dataLogDir来配置zookeeper的事务日志的输出目录,这个事务日志类似于下面这样的文件: 这个文件是一个二进制文件, 一般不能够直接识别, 那么是否有方法可以把这些事务日志转换成正常日志文件呢, 答... 阅读全文

摘要： 为了提升系统的性能，进一步提高系统的吞吐能力，最近公司很多系统都在进行异步化改造。在异步化改造的过程中，肯定会比以前碰到更多的多线程问题，上周就碰到ZooKeeper客户端异步化过程中的一个死锁问题，这里说明下。 通常ZooKeeper对于同一个API，提供了同步和异步两种调用方式。 同步接口很... 阅读全文

摘要： 这其中一个显而易见的问题就是权限：如果我的数据被别人动了怎么办？ 方案一：采用ZooKeeper支持的ACL digest方式，用户自己定义节点的权限 这种方案将zookeeper的acl和digest授权认证模式相结合。具体操作流程如下： 可以把... 阅读全文