09 2018 档案

摘要：本文目录如下所示： 目录 HFile在HBase架构中的位置 什么是HFile HFile逻辑结构 HFile逻辑结构的优点 HFile物理结构 HFile生成流程 HFile中Block块解析 多大的HFile文件才存在Intermiate Index Block HFile在HBase架构中的位 阅读全文

摘要：内容提要 一、写入流程 1. 初始化ZooKeeper Session，建立长连接，获取META Region的地址。 1. 获取rowkey对应的Region路由信息：来自.meta. 1. 写入region 如何快速定位rowkey所在的Region？ rowkey=tableName+star 阅读全文

摘要：HBase客户端查询存在的问题 Scan 用Get/Scan查询数据， Filter 用Filter查询特定数据 以上情况只适合几千行数据以及不是很多的列的“小数据”。 当表扩展为亿万行及百万列时，在通过网络传递移动大量的数据导致网络拥堵，且客户端需要足够多内存来处理这么大量数据的计算操作，另外，客 阅读全文

摘要：rowkey设计的重要性 rowkeys是HBase表设计中唯一重要的一点。 rowkey设计要求 唯一性 存储特性 按照字典顺序排序存储 查询特性 由于其存储特性导致查询特性： 查询单个记录； 查定一定范围的记录。 可能存在的问题 热点问题 热点问题如何解决 通过多个分区来分散读写压力。 另外一次 阅读全文

摘要：大数据简介 -从BI到大数据 BI 什么是BI BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。 应用范围： 商业智能系统可辅助建立信息中心，如产生各种工作报 阅读全文