随笔分类 -  hbase

hbase面试题
摘要：1.hbase的特点是什么？ 答：1)hbase是一个分布式的，基于列式存储的数据库，基于hadoop的hdfs存储，zookeeper进行管理。 2)hbase 适合存储半结构化或非结构化的数据，对于数据结构字段不够确定或者杂乱无章很难按照一个概念去抽取的数据。 3)hbase为null的数据不会 阅读全文
posted @ 2018-07-26 22:04 stone1234567890 阅读(17466) 评论(0) 推荐(1)
HBASE学习笔记(五)
摘要：一、HBase的RowKey设计原则 1.我们知道HBase是三维有序存储的，通过RowKey(行键),ColumnKey(Column family和qualifier)和TimeStamp(时间戳),这三个维度，对HBase中的数据进行快速的定位，Hbase中的RowKey可以唯一的标识一行记录 阅读全文
posted @ 2018-07-26 20:09 stone1234567890 阅读(554) 评论(0) 推荐(0)
HBASE学习笔记(四)
摘要：这两天把要前几天的知识点回顾一下，接下来我会用自己对知识点的理解来写一些东西 一、知识点回顾 1.hbase集群启动：$>start-hbase.sh >hbase-daemon.sh start hmaster + hbase-daemon.sh start regionserver hbase集 阅读全文
posted @ 2018-07-25 09:13 stone1234567890 阅读(518) 评论(0) 推荐(0)
hbase报错org.apache.hadoop.ipc.RemoteException(java.lang.NullPointerException): java.lang.NullPointerException
摘要：这个错误找了好长时间，日志看半天，找度娘没什么用，再看stackoverflow,上面有几篇相关的帖子，但是没人回答。 看半天，没有cause,只好到idea中去看sortLocalSorts源码，结果才知道是dns解析相关的配置，查了几个主机上的hbase-site.xml没问题，HA配置也没问题 阅读全文
posted @ 2018-07-20 22:44 stone1234567890 阅读(673) 评论(0) 推荐(0)
HBASE学习笔记(三)
摘要：一、 1.预切割：在创建表的时候，预先对表进行region切割。切割线就是rowkey 2.创建文件的时候进行预切割，结果如下图，查看WEBUI16010 3.批量与缓存 1）扫描器缓存，是面向行一级的 2）批量扫描是面向列一级的，批量可以让用户选择每次ResultScanner实例的next()操 阅读全文
posted @ 2018-07-19 09:47 stone1234567890 阅读(352) 评论(0) 推荐(0)
HBASE学习笔记(二)
摘要：一、HBASE内部原理 1.hbase系统架构 上图组件介绍; 1):Client 包含访问 hbase 的接口， client 维护着一些 cache 来加快对 hbase 的访问，比如 region 的位置信息。 2):Zookeeper 1 保证任何时候，集群中只有一个 master 2 存贮 阅读全文
posted @ 2018-07-17 09:17 stone1234567890 阅读(342) 评论(0) 推荐(0)
HBASE学习笔记(一)
摘要：一、数据库OLAP和OLTP简单的介绍比较 1.OLTP:on-line transaction processing在线事务处理,应用在传统关系型数据库比较多，执行日常基本的事务处理，比如数据库记录的增删改查，如银行的一笔交易记录，就是一个典型的事务处理，强调数据库内存效率，强调内存各种指标的命令 阅读全文
posted @ 2018-07-16 19:03 stone1234567890 阅读(1734) 评论(1) 推荐(0)