2025/2/2

Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。本篇博客将介绍如何在本地搭建Hadoop单机模式环境。
安装Hadoop：下载并解压Hadoop。
配置Hadoop：配置core-site.xml和hdfs-site.xml。
启动Hadoop：启动HDFS和YARN服务。
示例代码：
下载Hadoop：访问 Apache Hadoop官网 下载最新版本。
解压Hadoop：

tar -xzf hadoop-3.3.4.tar.gz -C /usr/local/
配置环境变量：在~/.bashrc中添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
配置Hadoop文件：编辑core-site.xml和hdfs-site.xml。

<!-- core-site.xml -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
格式化HDFS：

hdfs namenode -format
启动Hadoop服务：

start-dfs.sh
start-yarn.sh