hbase - 随笔分类 - bitbitbyte

摘要：LSM树由来、设计思想以及应用到HBase的索引阅读全文

posted @ 2020-07-05 19:19 bitbitbyte 阅读(117) 评论(0) 推荐(0)

摘要：基本概念 HFile文件保存在磁盘的hbase表数据文件, 格式为HFile。数据块为存储单元, 默认认大小64KB。 MemStore 写缓存，由于HFile中的数据要求是有序的，数据是先在MemStore中，排好序后,再刷写到HFile. 每次刷写都会形成一个新的HFile。 WAL 数据会先写WAL(Write-Ahead logfile)日志文件文件中，然后再写入MemSto... 阅读全文

posted @ 2020-07-05 18:59 bitbitbyte 阅读(282) 评论(0) 推荐(0)

HBase之读写流程中WAL机制

摘要：WAL机制概述 WAL(Write-ahead logging)预写式日志, 为数据库系统提供原子性和持久化的一些列操作, 几乎在所有非内存数据库都会使用. WAL机制不仅可以提升写性能, 还可以保证数据可靠性. WAL关键点在于先写日志再写磁盘。在数据写入之前首先顺序写入日志，然后再写入缓存，等阅读全文

posted @ 2020-07-05 18:58 bitbitbyte 阅读(876) 评论(0) 推荐(0)

HBase之写流程中的刷写时机

摘要：目的在执行刷写时，将部分过时的数据舍去，最多保留列族VERSIONS数量的put类型的cell. 在刷写时，会将memstore中的rowkey进行排序后，再刷写，方便在查询时，快速检索数据手动刷写 flush "表名" flush "region名" 刷写后磁盘上的HFile文件可以通过HBase提供的工具查看 habase org.apache.hadoop.hhase.io... 阅读全文

posted @ 2020-07-05 18:58 bitbitbyte 阅读(267) 评论(0) 推荐(0)

phoenix也能实现sql查询为什么在数仓中不用hbase代替hive

摘要：网上相关文章较少, 得到了一些结论:1 . 无法满足数据仓库调度对于数据体系依赖分析及元数据管理相关要求，故不能作为数据仓库的主要使用方式.2. hbase主要海量数据的存储，hive比较适合数据仓库分析相关大数据时代的争议：Spark 能替代 Hive 吗？阅读全文

posted @ 2020-06-01 21:23 bitbitbyte 阅读(454) 评论(0) 推荐(0)

Hbase总结

摘要：HBase概述 Hbase是一张大表(十亿行 * 百万列), 可以支持十亿级数据量的秒级查询. Hbase依赖于hadoop Hbase实现了更高的性能, 但在一定程度上牺牲了数据的一致性,(部分一致性). Hbase数据就是有版本, 一条数据可以有多个版本. HBase与hive: HBase相当阅读全文

posted @ 2020-03-21 13:58 bitbitbyte 阅读(370) 评论(0) 推荐(0)

hbase启动报错: java.net.ConnectException

摘要：报错信息在habase/logs/hbase-user-master-node101.log文件中查看报错信息 java.net.ConnectException: Call From node101/192.168.100.101 to node101:9000 failed on connec 阅读全文

posted @ 2020-03-19 11:33 bitbitbyte 阅读(645) 评论(0) 推荐(0)

随笔分类 - hbase

公告