随笔分类 -  Hadoop Related

HBase MVCC 代码阅读（一）
摘要：MultiVersionConcurrencyControl.java，版本 0.94.1 MultiVersionConsistencyControl 管理 memstore 中的读写一致性。该类实现了一种机制，达到如下的目的： 提供接口让 reader 知道可以忽略哪些元素项 提供一个新的 Wr 阅读全文
posted @ 2016-02-22 10:59 郝玉琨 阅读(980) 评论(0) 推荐(0)
[翻译]HBase 中的 ACID
摘要：同前面翻译的 "一篇" 关联的，同作者的另一篇： "ACID in HBase" 这一篇不是单纯地描述一个问题，而是以 ACID 为主题，介绍了其在 HBase 中各个部分的体现及实现。 ACID，即：原子性（Atomicity），一致性（Consistency），隔离性（Isolation），持久 阅读全文
posted @ 2016-02-15 16:25 郝玉琨 阅读(1543) 评论(0) 推荐(0)
[翻译]HBase 的 MVCC 和内建的原子操作
摘要：翻译一篇： "HBase MVCC and built in Atomic Operations" 作者：[Lars Hofhansl ](https://www.linkedin.com/in/larshofhansl) HBase 有一些特殊的原子操作: checkAndPut, checkAn 阅读全文
posted @ 2016-02-15 10:55 郝玉琨 阅读(1037) 评论(0) 推荐(0)
HBase Maven 工程模块梳理
摘要：HBase Maven 工程各个 Model 功能说明： github 地址：git://git.apache.org/hbase.git 版本：2.0.0 SNAPSHOT hbase annotations 从 Hadoop 中 copy 来的的代码注解（所有的类、接口都要用到)。 包含两个注解 阅读全文
posted @ 2016-02-05 16:02 郝玉琨 阅读(1698) 评论(0) 推荐(1)
关于 MVCC 的基础
摘要：作为第一篇对 MVCC 的学习材料，以下内容翻译自 Wikipedia。 1. 什么是MVCC 1.1 基础概念 MVCC，Multi Version Concurrency Control，多版本并发控制。MVCC 是一种并发控制的方法，一般在数据库管理系统中，实现对数据库的并发访问；在编程语言中 阅读全文
posted @ 2016-02-02 22:50 郝玉琨 阅读(22486) 评论(0) 推荐(4)
HFile文件解析异常解决
摘要：1. 场景说明需要对离线的 HFile 进行解析，默认可以使用如下的方式： 这样存在几个问题：1. 需要依赖 hbase 的环境2. p 选项输出的结果，打印出来的不是 value 的值，里面默认使用的是 3. 太重了，无关的内容不需要所以需要对上面的实现方式改造一下。阅读了源代码之后，了解到 H... 阅读全文
posted @ 2016-01-26 21:45 郝玉琨 阅读(1652) 评论(0) 推荐(0)
HBase 手动 flush 机制梳理
摘要：对应 HBase 版本0.94.1，对照了开源的版本和工作使用的某发行版问题：在 HBase shell 里面输入 flush 'table_or_region_name'之后，发生了什么？具体的实现是怎么样的？对于现有的某个表，我如何在做操作之前估算 flush 执行的时间？1. HBase sh... 阅读全文
posted @ 2016-01-22 21:11 郝玉琨 阅读(6024) 评论(0) 推荐(0)