安装Hbase&&过程中出现问题的解决方法

测试题要求使用hbase数据库 直接破防
暑假学习大数据集群配置好了hadoop hdfs
hadoop hive 一直学习的是hive
没有接触过hbase

好像截图不能上传了

HBase 是一款分布式、可扩展、面向列存储的 NoSQL 数据库,基于 Hadoop 生态系统构建,专为处理海量结构化和半结构化数据(PB 级甚至 EB 级)设计。它借鉴了 Google 的 Bigtable 论文思想,核心优势在于高吞吐量、高可用性和横向扩展能力,适用于需要持续写入大量数据且查询模式相对固定的场景。

HBase 是面向实时读写的 NoSQL 数据库,而Hive 是面向离线分析的数据仓库工具。

在配置hbase的过程中出现了许多问题

首先就是在官网下载压缩包,然后上传到虚拟机,解压,配置软链接,基于hive的配置过程,我以为三台服务器都需要下载并解压,但是事实一台机器就可以

一、为什么 Hive 通常需要至少 3 台机器?
Hive 本身是 “数据仓库工具”,不直接存储数据或提供计算能力,完全依赖 Hadoop 生态(HDFS + YARN) 运行。其对机器数量的要求,本质是 Hadoop 分布式集群的最低要求。

HBase 是 “分布式 NoSQL 数据库”,其架构设计允许单节点部署(测试场景),核心原因是:

HBase 组件可 “单机混布”
HBase 的核心组件(HMaster、RegionServer、ZooKeeper)及依赖的 HDFS 可以在单台机器上同时运行:
HMaster(主节点)和 RegionServer(数据节点)可部署在同一台机器;
ZooKeeper 单节点模式(非生产环境)可正常工作;
HDFS 单节点模式(副本数设为 1)可存储数据。
这种 “单机混布” 模式虽然没有高可用和容错能力,但能满足开发、测试等非生产场景的需求。
HBase 对 “分布式” 的依赖更灵活
HBase 的核心功能(实时读写、RowKey 查询)不强制要求 “分布式”—— 单节点的 RegionServer 即可处理数据读写,只是无法横向扩展(吞吐量有限)和容错(节点故障会导致服务中断)。
而生产环境中,HBase 同样需要多节点(通常 3 台以上):
至少 3 台 ZooKeeper 节点(保证分布式协调的高可用);
多个 RegionServer 节点(实现数据分片和负载均衡);
HDFS 仍需 3 台以上节点保证数据可靠性。

所有这个配置只需一个node1

hbase.zookeeper.quorum
node1

然后访问http://node1:16010/也出现了很多问题

一开始页面拒绝访问,也就是Hmaster进程不稳定,在start-hbase.sh执行之后,因为找不到node1的端口号
一两分钟就会自杀

hbase.rootdir
hdfs://node1:8020/hbase

根本原因 是我的hadoop里面的端口号是 9820,而在配置hbase的时候我跟着教程设置的8020 所以找不到端口

改为9820之后 可以访问 http://node1:16010/

然后进入hbase shell后实行CRUD会显示初始化未成功

等待成功在进入shell

然后我的Masterstartup 一直Running 等30min还是running

改这个报错了花了很长时间...

直接说结果

zookeeper节点只有node1就可以,而我配的是3个节点

导致一直选举不出主节点和从节点 一直循环

hbase.zookeeper.quorum
node1,node2,node3

最后进入hbase shell实现增删改查 在node1:16010 页面也可以看到创建的表

成功!!!

posted @ 2025-09-17 10:43  向恦  阅读(10)  评论(0)    收藏  举报