假期小结2hadoop环境配置

 记录一下hadoop配置

1. 安装Java Development Kit（JDK）：Hadoop是用Java编写的，所以首先需要安装JDK。可以从Oracle下载JDK，并按照安装说明进行安装。

2. 下载Hadoop：从Apache Hadoop的官方网站（https://hadoop.apache.org）上下载适用于的操作系统的Hadoop二进制发行版。可以选择稳定版本或最新版本，根据需求进行选择。

3. 解压Hadoop压缩文件：将下载的Hadoop压缩文件解压到选择的目录中。使用以下命令解压缩文件：

tar -xzvf hadoop-X.X.X.tar.gz

这将创建一个名为hadoop-X.X.X的目录，其中X.X.X表示Hadoop的版本号。

4. 配置Hadoop环境变量：编辑系统环境变量文件（例如：.bashrc、.bash_profile、.zshrc等），并添加以下行：

export HADOOP_HOME=/path/to/your/hadoop-X.X.X
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

确保将/path/to/your/hadoop-X.X.X替换为您解压缩Hadoop的实际路径。

5. 配置Hadoop集群：Hadoop的配置文件位于$HADOOP_HOME/etc/hadoop目录下。您可以根据需要编辑core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等文件，以配置Hadoop集群的各种参数，例如文件系统路径、端口号、副本数、内存分配等。

6. 设置SSH无密码登录：为了让Hadoop集群的节点之间能够进行安全的通信，建议您使用SSH无密码登录。生成SSH密钥对，并将公钥复制到所有集群节点的$HOME/.ssh/authorized_keys文件中。

7. 格式化HDFS文件系统：在Hadoop主节点上执行以下命令，以格式化Hadoop分布式文件系统（HDFS）：

hadoop namenode -format

8. 启动Hadoop集群：使用以下命令启动Hadoop集群：

start-dfs.sh   # 启动HDFS
start-yarn.sh  # 启动YARN

9. 验证Hadoop安装：可以通过访问Hadoop的Web界面来验证安装是否成功。在浏览器中输入http://localhost:50070，应该能够看到Hadoop集群的HDFS状态页面。