随笔分类 -  Hbase

摘要:又搞事了,发生了啥事呢;生产分区数暴了,What? 目前的情况: 前提:单Region Server分区上限设置为1000; 目前A表的数据量半年达到25E,20G一分区,达到了900多个分区,这是要搞事情呀,咋办: 查了下原因:这个表居然没有开启压缩,这是。。。 果断在大晚上对表进行变更:开启Sn 阅读全文

posted @ 2019-04-18 17:48 深圳私塾 阅读(161) 评论(0) 推荐(0)

摘要:很长一段时间以来,一个region同一时间只能在一台RS(Region Server)中打开。如果一个region同时在多个RS上打开,就是multi-assign问题,会导致数据不一致甚至丢数据的情况,这是要避免和解决的。对于正常情况而言,region本质上是单点服务的,当RS宕机时,这个RS上的 阅读全文

posted @ 2018-12-04 18:03 深圳私塾 阅读(325) 评论(0) 推荐(0)

摘要:写数据 Hbase使用memstore和storefile存储对表的更新。数据在更新时首先写入hlog和memstore,memstore中的数据是排序的,当memstore累计到一定的阀值时,就会创建一个新的memstore,并将老的memstore添加到flush队列,由单独的线程flush到磁 阅读全文

posted @ 2018-11-23 14:53 深圳私塾 阅读(262) 评论(0) 推荐(0)

摘要:Hbase框架介绍 HBase是一个分布式的、面向列的开源数据库。 不同点: l 和一般的关系数据库不同,hbase是一个适合于非结构化数据存储的数据库。 l Hbase是基于列而不是基于行的模式。 在分布式的生产环境中,HBase 需要运行在 HDFS 之上,以 HDFS 作为其基础的存储设施。H 阅读全文

posted @ 2018-11-23 14:48 深圳私塾 阅读(263) 评论(0) 推荐(0)

摘要:HBase简介 是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop 阅读全文

posted @ 2018-11-09 14:45 深圳私塾 阅读(153) 评论(0) 推荐(0)

导航