配置集群
| hadoop102 | hadoop103 | hadoop104 | |
| HDFS |
NameNode(文件属性) DataNode(数据) |
DataNode(数据) |
SecondaryNameNode(集群状态监控) DataNode(数据) |
| YARN | NodeManager(管理节点资源) |
ResourceManager(集群资源管理) NodeManager(节点资源管理) |
NodeManager(管理节点资源) |
1. 核心文件配置 core-site.xml
<!--指定HDFS中NameNode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:9000</value> </property> <!--指定Hadoop运行时产生文件的存储目录--> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.10.0/data/tmp</value> </property>
<!--配置hadoop-env.sh JAVA_HOME-->
2. hdfs-site.xml
<!--副本数配置--> <property> <name>dfs.replication</name> <vaule>3</vaule> </property> <!--指定Hadoop辅助节点主机配置--> <peoperty> <name>dfs.namenode.secondary.http-address</name> <value>hadoop104:500090</value> </peoperty>
3. yarn-site.xml
<!--配置yarn-env.sh 配置JAVA_HOME--> <!--Reducer获取数据的方式--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce.shuffle</value> </property> <!--指定YARN的resourcemanager--> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop103</value> </property>
4. mapred-site.xml
<!--配置 mapred-env.sh 配置JAVA_HOME--> <!--指定MR运行在Yarn上--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
5. 同步配置文件
xsync etc/hadoop/

浙公网安备 33010602011771号