摘要: Yarn是Hadoop的资源管理器,它是一个通用的资源管理系统,为上层应用提供统一的资源管理和调度,这里展示一张YARN的官方架构图,各位可以看一下。 接下来让我们看看架构图中出现的概念 Container(容器)是YARN中的资源抽象,它封装了某个节点上的多维度资源。YARN会为每个任务分配Con 阅读全文
posted @ 2022-10-15 23:45 梗 阅读(60) 评论(0) 推荐(0)
摘要: 学习MapReduce,首先要理解它的思想——分而治之,先分再合,分而治之,所谓的分而治之,意思就是将一个复杂的问题,按照一定的分解方法分解为规模较小的若干的部分,再逐个解决,分别找出各部分的结果,然后把各部分的结果组成整个问题的最终结果。 在这里,先附上一张MapReduce的整体流程图 MapR 阅读全文
posted @ 2022-10-15 17:36 梗 阅读(44) 评论(0) 推荐(0)