2023年9月12日每日随笔

  今天，上了大数据hadoop,对于hadoop,hdfs的概念有所加深，又上了软件开发案例，一整个震撼，子光老师真厉害呀，回来学习了hbase的暗转部署，并记录了一些笔记。

集群部署_安装框架

进行启动

[atguigu@hadoop102 bin]$ myhadoop.sh start
[atguigu@hadoop102 bin]$ zk.sh start

进入目录

[atguigu@hadoop102 bin]$ cd /opt/software/

将hbase-2.4.11-bin.tar.gz传入

进行解压

[atguigu@hadoop102 software]$ tar -zxvf hbase-2.4.11-bin.tar.gz -C /opt/module/

进行改名

[atguigu@hadoop102 module]$ mv hbase-2.4.11/ hbase

配置环境变量：

以管理员进入

[atguigu@hadoop102 module]$ sudo vim /etc/profile.d/my_env.sh

修改配置

#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin

进行分发：

[atguigu@hadoop102 module]$ sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh

使用xshall工具发送到所有会话，配置的环境变量生效

[atguigu@hadoop102 module]$ source /etc/profile.d/my_env.sh

以上完成环境配置

进入hbase目录

[atguigu@hadoop102 module]$ cd hbase/

进入conf

[atguigu@hadoop102 hbase]$ cd conf/

修改两个文件：

修改环境文件

[atguigu@hadoop102 conf]$ vim hbase-env.sh

进行修改

 

修改设置文件

[atguigu@hadoop102 conf]$ vim hbase-site.xml

删除最下的一些文件，添加一些修改

 <property>
 <name>hbase.zookeeper.quorum</name>
 <value>hadoop102,hadoop103,hadoop104</value>
 <description>The directory shared by RegionServers.
 </description>
 </property>
<!-- <property>-->
<!-- <name>hbase.zookeeper.property.dataDir</name>-->
<!-- <value>/export/zookeeper</value>-->
<!-- <description> 记得修改 ZK 的配置文件 -->
<!-- ZK 的信息不能保存到临时文件夹-->
<!-- </description>-->
<!-- </property>-->
 <property>
 <name>hbase.rootdir</name>
 <value>hdfs://hadoop102:8020/hbase</value>
 <description>The directory shared by RegionServers.
 </description>
 </property>

修改到如下：

 

修改regionservers

[atguigu@hadoop102 conf]$ vim regionservers 

删除localhost,添加

hadoop102
hadoop103
hadoop104

配置填写完成

解决 HBase 和 Hadoop 的 log4j 兼容性问题，修改 HBase 的 jar 包，使用 Hadoop 的 jar 包（找不到文件）

[atguigu@hadoop102 hbase]$ mv /opt/module/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar /opt/module/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar.bak

进行分发：

[atguigu@hadoop102 module]$ xsync hbase/

群起：启动hbase

[atguigu@hadoop102 hbase]$ bin/start-hbase.sh

部署高可用：

先关闭Hbase集群（群关）

[atguigu@hadoop102 hbase]$ bin/stop-hbase.sh 

在 conf 目录下创建 backup-masters 文件

[atguigu@hadoop102 module]$ cd hbase/conf/
[atguigu@hadoop102 conf]$ touch backup-masters

进入

[atguigu@hadoop102 conf]$ vim backup-masters

修改为

hadoop103

分发

[atguigu@hadoop102 conf]$ xsync backup-masters

访问web界面

http://hadoop102:16010/master-status