配置集群

  hadoop102 hadoop103 hadoop104
HDFS

NameNode(文件属性)

DataNode(数据)

DataNode(数据)

SecondaryNameNode(集群状态监控)

DataNode(数据)

YARN NodeManager(管理节点资源)

ResourceManager(集群资源管理)

NodeManager(节点资源管理)

NodeManager(管理节点资源)

1. 核心文件配置 core-site.xml

<!--指定HDFS中NameNode的地址-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop102:9000</value>
</property>

<!--指定Hadoop运行时产生文件的存储目录-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.10.0/data/tmp</value>
</property>
<!--配置hadoop-env.sh JAVA_HOME-->

2. hdfs-site.xml

<!--副本数配置-->
<property>
<name>dfs.replication</name>
<vaule>3</vaule>
</property>

<!--指定Hadoop辅助节点主机配置-->
<peoperty>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:500090</value>
</peoperty>

3. yarn-site.xml

<!--配置yarn-env.sh  配置JAVA_HOME-->
<!--Reducer获取数据的方式-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
</property>

<!--指定YARN的resourcemanager-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
</property>

4. mapred-site.xml

<!--配置 mapred-env.sh 配置JAVA_HOME-->

<!--指定MR运行在Yarn上-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5. 同步配置文件

xsync etc/hadoop/

 

posted @ 2020-06-24 16:00  阿布都日  阅读(141)  评论(0)    收藏  举报