hadoop 环境配置

1️⃣ 软件环境

组件 版本
操作系统 CentOS 7 / Ubuntu 20.04
JDK JDK 8
Hadoop 3.4.1
SSH OpenSSH

⚠️ 注意：

  • Hadoop 不支持 JDK 9+
  • 必须配置 SSH 免密登录

二、安装 JDK 8

1️⃣ 上传并解压 JDK

cd /usr/local
tar -zxvf jdk-8u202-linux-x64.tar.gz
mv jdk1.8.0_202 java

2️⃣ 配置环境变量

编辑 /etc/profile：

vim /etc/profile

追加：

export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH

生效：

source /etc/profile

验证：

java -version

输出类似：

java version "1.8.0_202"

三、安装 Hadoop

1️⃣ 解压 Hadoop

cd /usr/local
tar -zxvf hadoop-3.4.1.tar.gz
mv hadoop-3.4.1 hadoop

2️⃣ 配置 Hadoop 环境变量

编辑 /etc/profile：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

生效：

source /etc/profile

验证：

hadoop version

四、配置 SSH 免密登录（必须）

1️⃣ 安装 SSH

yum install -y openssh-server
systemctl start sshd
systemctl enable sshd

2️⃣ 生成密钥

ssh-keygen -t rsa

一路回车即可。

3️⃣ 配置免密

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

⚠️ 不需要密码即成功

五、Hadoop 核心配置（伪分布式）

进入配置目录：

cd $HADOOP_HOME/etc/hadoop

1️⃣ 配置 hadoop-env.sh

vim hadoop-env.sh

找到并修改：

export JAVA_HOME=/usr/local/java

2️⃣ 配置 core-site.xml

vim core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

3️⃣ 配置 hdfs-site.xml

vim hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/data/namenode</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

4️⃣ 配置 mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5️⃣ 配置 yarn-site.xml

vim yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

六、格式化 HDFS（只做一次）

hdfs namenode -format

⚠️ 格式化后数据会清空，勿重复执行

posted @ 2025-10-16 10:28  元始天尊123  阅读(8)  评论(0)    收藏  举报