• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 众包
  • 赞助商
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录

黄文超

  • 博客园
  • 联系
  • 订阅
  • 管理

公告

View Post

Hbase读取数据流程

Hbase读取数据流程

1、客户端向zookeeper发送请求,获取hbase:meta元数据
2、元数据获取后加载到内存当中
3、通过rowKey信息,从元数据中查找Region相关信息
4、RegionServer构建RegionScanner,一个RowKey的信息对应着一个RegionScanner(它是一个主键的总信息)
5、一个RegionScanner会生成多个storeScanner,这个主要和store的个数有关,而store的个数与列族的个数有关
一个列族对应着一个store
6、storeScanner会排序,生成最小堆StoreHeap:PriorityQueue<StoreScanner>
7、一个storeScanner会生成一个缓冲区memStore和多个storeFileScanner,这个storeFileScanner的个数主要取决于storeFile的个数,也就是列的个数。
8、storeFileScanner会根据rowKey定位到storeFile文件中的rowKey的起始位置
9、合并并构建小堆KeyValueHeap:PriorityQueue<KeyValueScanner>,排序规则按照keyValue从小到大排序
10、经过一行一行的查找和筛选得到需要查询的keyValue值

posted on 2021-05-10 20:00  黄文超  阅读(541)  评论(0)    收藏  举报

刷新页面返回顶部
 
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3