代码王子

摘要： 相信每一个维护hbase集群的运维人员一定碰到过disable失败，陷入无穷的"Region has been PENDING_CLOSE for too long..."状态，此时没有什么好的办法处理。经常需要重启集群。 这个问题产生的原因非常讨厌，经过一段时间的分析和验证，得到了根本... 阅读全文

摘要： 首先要清楚reginserver中内存是如何使用的。 reginserver中内存总体分成三部分：blocksize专供读使用的内存，memstore供读写使用的内存，其它内存。 其中前两者的大小在配置中分别通过hfile.block.cache.size以及hbase.re... 阅读全文

摘要： 数据字典用来存储了系统的元数据。HBase的元数据包括：用户表的定义、表的切分方案、分片的分布情况(即分片分布在哪个regionserver上)、分片对应的数据文件和日志文件。其中，分片和数据文件的映射关系是通过目录映射实现的，即不同的分片的数据文件存储在不同的目录中，其中目录的名称是分片的名... 阅读全文

摘要： hbase的稳定性是近期社区的重要关注点，毕竟稳定的系统才能被推广开来，这里有几次稳定性故障和大家分享。 第一次生产故障的现象及原因 现象： Java代码 1 hbase发现无法写入 2 通过hbck检测发现.META.表中出现空洞，具体log是：;Cha... 阅读全文

摘要： 执行以下case可以见到root或meta被加载两次： 1 kill掉root和meta表所在的rs2 start该台rs3 立即再次kill掉这台rs4 立即再次start该台rs 原因： 当ROOT表和META表所在的server如果挂掉了，不管是重启这台rs还是等待它... 阅读全文

摘要： 一个线上集群出现莫名奇妙不能写入数据的bug，log中不断打印如下信息： 引用 2011-11-09 07:35:45,911 INFO org.apache.hadoop.hbase.regionserver.HRegion: Blocking updates for 'IPC Server... 阅读全文

摘要： 经过查明原来是lease引发的问题。不过查问题的过程让我们耽误了很多修复故障的时间，很是不爽。 起因：datanode和regionserver以及master同时挂掉 现象：datanode重启后，regionserver重启不久，多台regionserver相继即挂掉，log显示： ... 阅读全文

摘要： 局部加权紧接着上面的线性回归中参数求解来继续讲吧。还是以上面的房屋价格的预测，它的中心思想是在对参数进行求解的过程中，每个样本对当前参数值的影响是有不一样的权重的。比如上节中我们的回归方程为（这个地方用矩阵的方法来表示Ɵ表示参数，i表示第i个样本，h为在Ɵ参数下的预测值）： 我们的目标是... 阅读全文

摘要： 1、多元线性回归模型 假定被解释变量与多个解释变量之间具有线性关系，是解释变量的多元线性函数，称为多元线性回归模型。即 (1.1) 其中为被解释变量，为个解释变量，为个未知参数，为随机误差项。 被解释变量的期望值与解释变量的线性方程为： (1.2) 称为多元总体线性回归方程，简称总体回归方程... 阅读全文

摘要： hbase-0.90.0的一个重要改进是引入了replication机制，使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善，但是今后必然会变得更加重要。 hbase的replication机制很像mysql statement-based replication。它是通过WALEdi... 阅读全文