2018年2月5日

hadoop之 Yarn 调度器Scheduler详解

摘要： 概述 集群资源是非常有限的，在多用户、多任务环境下，需要有一个协调者，来保证在有限资源或业务约束下有序调度任务，YARN资源调度器就是这个协调者。 YARN调度器有多种实现，自带的调度器为Capacity Scheduler和Fair Scheduler。YARN资源调度器均实现Resource S 阅读全文

posted @ 2018-02-05 15:29 张冲andy 阅读(878) 评论(0) 推荐(0)

Hadoop之 MapReducer工作过程

摘要： 一个MapReducer作业经过了input，map，combine，reduce，output五个阶段，其中combine阶段并不一定发生，map输出的中间结果被分到reduce的过程成为shuffle（数据清洗）。 在shuffle阶段还会发生copy（复制）和sort（排序）。 在MapRed 阅读全文

posted @ 2018-02-05 11:40 张冲andy 阅读(1483) 评论(0) 推荐(0)

hadoop 配置文件简析

摘要： 文件名称 格式 描述hadoop-env.sh bash脚本 记录hadoop要用的环境变量core-site.xml hadoop 配置 xml hadoop core 配置项，例如 HDFS 和 Mapreduce 常用的i/o 设置等hdfs-site.xml hadoop 配置 xml HD 阅读全文

posted @ 2018-02-05 10:23 张冲andy 阅读(182) 评论(0) 推荐(0)

导航