尝试学习搭建Hbase环境（1）

作为一个软件工程系的学生，我在学习大数据技术时决定搭建一个本地的HBase环境进行实践。经过几次尝试和版本调整，最终成功搭建了一个稳定运行的HBase环境。以下是我的搭建记录，希望能帮助到同样在学习大数据技术的同学们。
我使用虚拟机选择的是VMware，Linux系统选择的是Ubuntu24。

首先就是正常地创建虚拟机，使用我已经下载好的ubuntu-24.04.3-desktop-amd64.iso，这个在网上的教程许多，我跟着一起完成的。

首先确定实验的各个软件的版本，我第一次尝试的版本是：
hadoop-3.3.6.tar.gz
hbase-2.4.16-bin.tar.gz
初次尝试：openjdk-11.0.2_linux-x64_bin.tar.gz（实验证明，jdk11好像不太匹配我的其他软件版本）
修改后：jdk-8u471-linux-x64.tar.gz
apache-zookeeper-3.8.5-bin.tar.gz

我下载压缩包的方式是现在本机下载，再通过已经配置好的final shell进行传输，再在虚拟机上进行解压。

创建虚拟机时我推荐内存在8G以上，储存空间40G以上。

首先是更新系统：sudo apt update && sudo apt upgrade -y
配置SSH免密登录，可能原先没有这个配件，需要自己安装，只需要输入指令即可自动下载。

接下载是解压jdk到自己想要的位置：sudo tar -zxvf jdk-8u471-linux-x64.tar.gz
配置环境变量：

export JAVA_HOME=/usr/local/java/jdk1.8.0_471
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

我最开始使用的jdk11，虽然Hadoop能正常启动，使用，但是hbase不可以，所以在最后我更换了jdk8。
更换的时候需要把所有配套的关于jdk配置的内容全部更换，比如基础环境，hadoop，hbase里的各个配置文件。

接下来解压传输的Hadoop压缩包：tar -zxvf hadoop-3.3.6.tar.gz，移动到自己想要的位置。
环境变量：

export HADOOP_HOME=/home/hadoop/hadoop（以自己的实际位置为准）
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：source ~/.bashrc

接下来需要配置Hadoop，比如hadoop-env.sh：
修改JAVA_HOME：
export JAVA_HOME=/usr/local/java/jdk1.8.0_471（若修改过jdk，这里要记得修改）

配置core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoopdata</value>
    </property>
</configuration>

配置hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///home/hadoop/hadoopdata/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///home/hadoop/hadoopdata/dfs/data</value>
    </property>
</configuration>

配置mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

配置完成后初始化并启动Hadoop：hdfs namenode -format

启动HDFS
start-dfs.sh
启动YARN
start-yarn.sh

这些工作全部完成后验证服务：jps
应该能够看到：NameNode, DataNode, SecondaryNameNode, ResourceManager, NodeManager

经过我的测试hadoop-3.3.6.tar.gz对jdk11和jdk8都可以使用，不过为了之后的Hbase，我最后使用了更稳定的jdk8.