随笔分类 -  zookeeper

摘要:数据类型和流 本部分描述支持Hadoop的基础数据类型以及复合类型。我们的目的是支持一系列的类型,可以用于在不同的编程语言中简化和有效表达一定范围的记录类型. 基础类型 大部分情况下,Hadoop的大部分基础类型直接映射到高级编程语言的基础类型。特殊的例子是ustring(Unicode字符串)以及 阅读全文
posted @ 2017-06-24 10:44 wang_tale 阅读(620) 评论(0) 推荐(0)
摘要:Hadoop record I/O 包含class文件以及record描述语言解释器用于简化records的序列化和反序列化。 介绍 任何显著复杂性的软件系统都需要与外界进行数据交换的机制。数据交互通常涉及到输入输出数据逻辑单元的封包和解包(如文件、网络连接、内存缓冲区等等。)。应用程序通常嵌套了操 阅读全文
posted @ 2017-06-15 20:14 wang_tale 阅读(2419) 评论(1) 推荐(1)
摘要:Time in ZooKeeper ZooKeeper跟踪时间的多种方式 1)Zxid:每个ZooKeeper状态变化将会接收到一个zxid(ZooKeeper Transaction Id)的时间戳。ZooKeeper通过该字段了解所有变化的顺序。每次变化都会有一个唯一的zxid,如果zxid1小 阅读全文
posted @ 2017-06-15 15:42 wang_tale 阅读(2113) 评论(0) 推荐(0)
摘要:ZooKeeper有一个分层的命名空间,类似分布式文件系统。它们唯一的区别就在于在命名空间中每个节点可以有数据关联作为它们的子节点。这就像有一个文件系统允许文件也作为文件目录。节点路径通常表示为规范的、斜杠分隔的绝对路径。它们没有相对路径。任何包含在路径当中的unicode字符都必须遵循以下约束:1 阅读全文
posted @ 2017-06-15 09:54 wang_tale 阅读(1042) 评论(0) 推荐(0)
摘要:ZooKeeper:为分布式应用提供的分布式协调服务 ZooKeeper提供一系列原语用于分布式应用构建更高层次的服务,如同步、配置维护、分组以及命名空间。 设计目标: ZooKeeper足够简单且可复制。 组成ZooKeeper服务当中的服务器知道彼此之间的存在。服务器在持久存储中维护状态内存映像 阅读全文
posted @ 2017-06-14 10:38 wang_tale 阅读(294) 评论(0) 推荐(1)
摘要:zxid (ZooKeeper Transaction Id,每次请求对应一个唯一的zxid,如果zxid a < zxid b ,则可以保证a一定发生在b之前) zookeeper采用了递增的事务id号(zxid)来标识事务。所有的提议(proposal)都在被提出的时候加上了zxid。 实现中z 阅读全文
posted @ 2017-06-13 23:37 wang_tale 阅读(478) 评论(0) 推荐(0)
摘要:zookeeper版本生成规则: min - minor version number micro - minor minor version number rev - current Git revision number buildDate - date the build 版本号生成格式“x. 阅读全文
posted @ 2017-06-13 23:14 wang_tale 阅读(281) 评论(0) 推荐(0)