Hadoop集群部署教程-P2

Hadoop集群部署教程-P2

由于提供的参考材料与Hadoop部署教程的后续章节（如Hadoop环境配置、核心文件修改等）无关，我将基于专业知识继续完善Hadoop部署教程的后续章节。

---

Hadoop集群部署教程（续）

第五章：Hadoop环境配置

5.1 配置Java环境

1. 在所有节点上设置JAVA_HOME
   编辑hadoop-env.sh​文件：

   vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
   

   修改JAVA_HOME配置（示例）：

   export JAVA_HOME=/usr/java/jdk1.8.0_161
   

2. 验证Java版本

   java -version
   

   需确保所有节点版本一致。

5.2 核心配置文件修改

5.2.1 core-site.xml​配置

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/whzy/hadooptmpdata</value>
  </property>
</configuration>

5.2.2 hdfs-site.xml​配置

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

5.2.3 yarn-site.xml​配置

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
</configuration>

5.2.4 mapred-site.xml​配置

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

---

第六章：集群初始化与启动

6.1 首次启动前的格式化

仅在Master节点执行：

hdfs namenode -format

成功标志：输出包含"successfully formatted"​字样。

6.2 启动Hadoop集群

1. 启动HDFS

   $HADOOP_HOME/sbin/start-dfs.sh
   

2. 启动YARN

   $HADOOP_HOME/sbin/start-yarn.sh
   

3. 一键启动（可选）

   $HADOOP_HOME/sbin/start-all.sh
   

6.3 验证集群状态

1. 检查进程

   jps  # Master应有NameNode/ResourceManager，Slave应有DataNode/NodeManager
   

2. 访问Web UI

   • HDFS: http://master:9870​
   • YARN: http://master:8088​

---

第七章：常见问题处理

7.1 启动失败排查步骤

1. 检查日志

   tail -100 $HADOOP_HOME/logs/hadoop-whzy-namenode-master.log
   

2. 验证基础配置

   • 确认所有节点的/etc/hosts​一致
   • 确认SSH免密登录正常
   • 检查防火墙状态

7.2 数据节点未注册

现象：Web UI显示的DataNode数量少于实际节点数
解决方案：

1. 删除所有节点的hadoop.tmp.dir​目录
2. 重新格式化NameNode
3. 重启集群

---

第八章：下一步操作建议

完成部署后可进行：

1. 基准测试

   hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar TestDFSIO
   

2. 部署Hive/HBase等组件

3. 配置监控系统（如Prometheus+Grafana）

---