上一页 1 ··· 61 62 63 64 65 66 67 68 69 ··· 119 下一页

2013年11月25日

disable table 失败的处理

摘要: 相信每一个维护hbase集群的运维人员一定碰到过disable失败,陷入无穷的"Region has been PENDING_CLOSE for too long..."状态,此时没有什么好的办法处理。经常需要重启集群。 这个问题产生的原因非常讨厌,经过一段时间的分析和验证,得到了根本... 阅读全文

posted @ 2013-11-25 12:40 代码王子 阅读(340) 评论(0) 推荐(0)

region server 中的OOM原因

摘要: 首先要清楚reginserver中内存是如何使用的。 reginserver中内存总体分成三部分:blocksize专供读使用的内存,memstore供读写使用的内存,其它内存。 其中前两者的大小在配置中分别通过hfile.block.cache.size以及hbase.re... 阅读全文

posted @ 2013-11-25 12:39 代码王子 阅读(205) 评论(0) 推荐(0)

HBase数据字典

摘要: 数据字典用来存储了系统的元数据。HBase的元数据包括:用户表的定义、表的切分方案、分片的分布情况(即分片分布在哪个regionserver上)、分片对应的数据文件和日志文件。其中,分片和数据文件的映射关系是通过目录映射实现的,即不同的分片的数据文件存储在不同的目录中,其中目录的名称是分片的名... 阅读全文

posted @ 2013-11-25 12:31 代码王子 阅读(434) 评论(0) 推荐(0)

HBase丢失数据的故障和原因分析

摘要: hbase的稳定性是近期社区的重要关注点,毕竟稳定的系统才能被推广开来,这里有几次稳定性故障和大家分享。 第一次生产故障的现象及原因 现象: Java代码 1 hbase发现无法写入 2 通过hbck检测发现.META.表中出现空洞,具体log是:;Cha... 阅读全文

posted @ 2013-11-25 12:31 代码王子 阅读(839) 评论(0) 推荐(0)

HBase多次加载-ROOT-和META的bug

摘要: 执行以下case可以见到root或meta被加载两次: 1 kill掉root和meta表所在的rs2 start该台rs3 立即再次kill掉这台rs4 立即再次start该台rs 原因: 当ROOT表和META表所在的server如果挂掉了,不管是重启这台rs还是等待它... 阅读全文

posted @ 2013-11-25 12:30 代码王子 阅读(149) 评论(0) 推荐(0)

Lease问题

摘要: 经过查明原来是lease引发的问题。不过查问题的过程让我们耽误了很多修复故障的时间,很是不爽。 起因:datanode和regionserver以及master同时挂掉 现象:datanode重启后,regionserver重启不久,多台regionserver相继即挂掉,log显示: ... 阅读全文

posted @ 2013-11-25 12:30 代码王子 阅读(106) 评论(0) 推荐(0)

HBase写被block的分析

摘要: 一个线上集群出现莫名奇妙不能写入数据的bug,log中不断打印如下信息: 引用 2011-11-09 07:35:45,911 INFO org.apache.hadoop.hbase.regionserver.HRegion: Blocking updates for 'IPC Server... 阅读全文

posted @ 2013-11-25 12:30 代码王子 阅读(145) 评论(0) 推荐(0)

局部加权回归

摘要: 局部加权紧接着上面的线性回归中参数求解来继续讲吧。还是以上面的房屋价格的预测,它的中心思想是在对参数进行求解的过程中,每个样本对当前参数值的影响是有不一样的权重的。比如上节中我们的回归方程为(这个地方用矩阵的方法来表示Ɵ表示参数,i表示第i个样本,h为在Ɵ参数下的预测值): 我们的目标是... 阅读全文

posted @ 2013-11-25 12:29 代码王子 阅读(197) 评论(0) 推荐(0)

多元线性回归

摘要: 1、多元线性回归模型 假定被解释变量与多个解释变量之间具有线性关系,是解释变量的多元线性函数,称为多元线性回归模型。即 (1.1) 其中为被解释变量,为个解释变量,为个未知参数,为随机误差项。 被解释变量的期望值与解释变量的线性方程为: (1.2) 称为多元总体线性回归方程,简称总体回归方程... 阅读全文

posted @ 2013-11-25 12:29 代码王子 阅读(2980) 评论(0) 推荐(0)

2013年11月24日

HBase replication使用

摘要: hbase-0.90.0的一个重要改进是引入了replication机制,使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善,但是今后必然会变得更加重要。 hbase的replication机制很像mysql statement-based replication。它是通过WALEdi... 阅读全文

posted @ 2013-11-24 22:24 代码王子 阅读(216) 评论(0) 推荐(0)

上一页 1 ··· 61 62 63 64 65 66 67 68 69 ··· 119 下一页

导航