MapReduced&&YARN配置

终于配置好了

Hadoop版本3.4.1

跟黑马的教程
https://www.bilibili.com/video/BV1WY4y197g7?spm_id_from=333.788.videopod.episodes&vd_source=531ef0571bd21a6f140383bcf2e73ef8&p=41

但配置不太一样 .sh的环境变量都一样 .xml的跟黑马的不太一样

可参考一下
mapred-site.xml
`
mapreduce.framework.name
yarn
MapReduce 运行在 YARN 上

mapreduce.jobhistory.address node1:10020 历史服务器通讯地址 mapreduce.jobhistory.webapp.address node1:19888 历史服务器 Web 界面地址 mapreduce.jobhistory.intermediate-done-dir hdfs://node1:9820/data/mr-history/tmp 临时历史日志路径 mapreduce.jobhistory.done-dir hdfs://node1:9820/data/mr-history/done 完成任务的历史日志路径 yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=$HADOOP_HOME mapreduce.map.env HADOOP_MAPRED_HOME=$HADOOP_HOME mapreduce.reduce.env HADOOP_MAPRED_HOME=$HADOOP_HOME mapreduce.map.memory.mb 1024 Map 任务内存 mapreduce.reduce.memory.mb 2048 Reduce 任务内存 `

yarn-site.xml

`

yarn.resourcemanager.hostname
node1
ResourceManager 运行节点


yarn.nodemanager.aux-services
mapreduce_shuffle
启用 Shuffle 服务（MapReduce 必需）

yarn.nodemanager.resource.memory-mb 4096 单个节点总可用内存（4GB） yarn.scheduler.minimum-allocation-mb 512 最小容器内存 yarn.scheduler.maximum-allocation-mb 3072 最大容器内存（需大于 Reduce 任务的 2048） `

配置成功了！！！

历史服务器

记得快照
！