摘要: Yarn Hadoop 1.x 中包括 HDFS、MapReduce,其中 MapReduce 既是计算框架又是资源管理框架,它的架构为主从架构。 JobTracker 作为主节点,接受客户端提交的作业 Job,然后为该 Job 在 TaskTracker 上分配资源,之后将 Job 拆分为 Tas 阅读全文
posted @ 2024-06-28 20:00 Stitches 阅读(22) 评论(0) 推荐(0)
摘要: MapReduce 模型 MapReduce 核心思想是移动任务而非移动数据 MapReduce 是一种编程模型,对数据集执行 MAP 映射,然后对结果进行 Reduce 规约,适用于大规模数据集的并行计算。核心思想可以理解为分治法,数据固定不动,分派计算任务到不同计算节点计算。 模型介绍 MapR 阅读全文
posted @ 2024-06-28 20:00 Stitches 阅读(48) 评论(0) 推荐(0)