Hadoop 服务器集群文件配置

服务器间的 hadoop 集群配置

应用操作以建立服务器之间的链接

到达指定目录

cd $HADOOP_HOME/etc/hadoop/

修改四个文件

1. core-site.xml
2. hdfs-site.xml
3. yarn-site.xml
4. mapred-site.xml

<!-- core-site.xml -->
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定 NameNode 的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop102:8020</value>
	</property>
	
	<!-- 指定 hadoop 数据的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-3.1.3/data</value>
	</property>
	
	<!-- 配置 HDFS 网页登录使用的静态用户为 cheetah -->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>cheetah</value>
	</property>
</configuration>

<!-- hdfs-site.xml -->
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- nn web 端访问地址 -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop102:9870</value>
	</property>
	
	<!-- 2nn web 端访问地址 -->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop104:9868</value>
	</property>
</configuration>

<!-- yarn-site.xml -->
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定 MR 走 shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<!-- 指定 ResourceManager 的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop103</value>
	</property>
	
	<!-- 环境变量的继承 -->
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA HOME,HADOOP COMMON HOME,HADOOP HDFS HOME,HADOOP CONF DIR,CLASSPATH PREPEND DISTCACHE,HADOOP YARN HOME,HADOOP MAPRED_HOME</value>
	</property>
        <!-- 以下为日志聚集功能配置 --> 
	<!-- 开启日志聚集功能 --> 
	<property> 
		<name>yarn.log-aggregation-enable</name> 
		<value>true</value> 
	</property> 
	<!-- 设置日志聚集服务器地址 --> 
	<property>   
		<name>yarn.log.server.url</name>   
		<value>http://hadoop102:19888/jobhistory/logs</value> 
	</property> 
	<!-- 设置日志保留时间为7天 --> 
	<property> 
		<name>yarn.log-aggregation.retain-seconds</name> 
		<value>604800</value> 
	</property>
</configuration>

<!-- mapred-site.xml -->
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
        <!-- 以下为配置历史服务器代码 -->
        <!-- 历史服务器端地址 -->
	<property>
			<name>mapreduce.jobhistory.address</name>
			<value>hadoop102:10020</value>
	 </property>
	 <!-- 历史服务器 web 端地址 -->
	 <property>
			<name>mapreduce.jobhistory.webapp.address</name>
			<value>hadoop102:19888</value>
	 </property>
</configuration>

同步更改到每一个hadoop上

cd $HADOOP_HOME/etc/
xsync hadoop/