随笔分类 -  hbase

CentOS7.5搭建HBase1.2.6HA集群
摘要：一、安装前提 1、HBase 依赖于 HDFS 做底层的数据存储 2、HBase 依赖于 MapReduce 做数据计算 3、HBase 依赖于 ZooKeeper 做服务协调 4、HBase源码是java编写的，安装需要依赖JDK 1、版本选择 打开官方的版本说明http://hbase.apac 阅读全文
posted @ 2021-05-12 15:24 迷你淘 阅读(125) 评论(0) 推荐(0)
ERROR: KeeperErrorCode = NoNode for /hbase/master
摘要：检查下zookeeper的状态，以及日志，用zk-cli查看是否有 /hbase/master节点不要使用hbase内置的zookeeper，自己搭建zookeeper集群，还有zk的数据目录要指定到非tmp目录下 这个错误的意思就是再zk中找不到/hbase/master节点 在hbase-sit 阅读全文
posted @ 2021-05-12 15:10 迷你淘 阅读(6585) 评论(0) 推荐(0)
ERROR: but there is no YARN_RESOURCEMANAGER_USER&HDFS_JOURNALNODE_USER&DFS_ZKFC_USER defined. Aborting operation.
摘要：将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数 HDFS_NAMENODE_USER=root HDFS_DATANODE_USER=root HDFS_SECONDARYNAMENODE_USER=root YARN_RESOURCEMANAGER_USER=root 阅读全文
posted @ 2021-04-28 18:40 迷你淘 阅读(165) 评论(0) 推荐(0)
HBase之rowkey设计原则和方法
摘要：rowkey设计原则和方法rowkey设计首先应当遵循三大原则： rowkey长度原则rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。 一般越短越好，不要超过16个字节，注意原因如下： 1、目前操作 阅读全文
posted @ 2021-04-12 18:03 迷你淘 阅读(752) 评论(0) 推荐(0)
可能是最易懂的Hbase架构原理解析
摘要：小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。 今天，小史的姐姐和吕老师一起过来看小史，一进屋，就有一股难闻的气味。 可不，小史姐姐走进卫生间，发现地下一个盆子里全是没洗的袜子。 小史：当然不是，盆里的袜子满了，就先放到这个桶里，然后再继续装 阅读全文
posted @ 2021-04-12 17:56 迷你淘 阅读(539) 评论(0) 推荐(0)
HBase基本概念与基本使用
摘要：1. HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成 阅读全文
posted @ 2021-01-06 10:45 迷你淘 阅读(286) 评论(0) 推荐(0)
HBase模型RegionServer架构及Region/Store/StoreFile/Hfile之间的关系
摘要：数据模型 1.Name Space 命名空间，类似于关系型数据库的database概念，每个命名空间下有多个表。HBase两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的命名空间 2.Table Table类似于关系型数据 阅读全文
posted @ 2021-01-06 10:42 迷你淘 阅读(346) 评论(0) 推荐(0)
四大热门NoSql(MongoDB,Hbase,ES,Redis)优劣及适用场景
摘要：数据库对互联网开发的重要性就不必多说了。作为大数据和AI时代的互联网er，如果你还是只懂MySQL，那你可就火星大发了。下面给大家总结下每个互联网er都必须懂的几种数据库产品： MongoDB MongoDB是当今最火爆的NoSQL数据库。MongoDB最早在09年发布，算得上是早期大数据时代的数据 阅读全文
posted @ 2021-01-05 09:35 迷你淘 阅读(1874) 评论(0) 推荐(2)