2018年4月12日
MR 原理
摘要： MapReduce的执行步骤： 1、Map任务处理 1.1 读取HDFS中的文件。每一行解析成一个<k,v>。每一个键值对调用一次map函数。 <0,hello you> <10,hello me> 1.2 覆盖map()，接收1.1产生的<k,v>，进行处理，转换为新的<k,v>输出。 <hell 阅读全文
posted @ 2018-04-12 14:14 有容奶大 阅读(531) 评论(0) 推荐(0)
Hadoop yarn任务调度策略介绍
摘要： 二、Capacity Scheduler（容器调度器）的配置 2.1 容器调度介绍 Capacity 调度器允许多个组织共享整个集群，每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。 阅读全文
posted @ 2018-04-12 11:00 有容奶大 阅读(344) 评论(0) 推荐(0)
Hadoop 新 MapReduce 框架 Yarn 详解
摘要： Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学 阅读全文
posted @ 2018-04-12 10:54 有容奶大 阅读(312) 评论(0) 推荐(0)
2018年4月11日
HDFS特点
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-04-11 23:10 有容奶大 阅读(45) 评论(0) 推荐(0)
Hadoop 架构与原理
摘要： 1.1. Hadoop架构 Hadoop1.0版本两个核心：HDFS+MapReduce Hadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+Mapreduce Yarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。 1.2. HDFS设 阅读全文
posted @ 2018-04-11 22:57 有容奶大 阅读(17608) 评论(1) 推荐(1)
Zookeeper 概念与原理
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2018-04-11 21:23 有容奶大 阅读(18) 评论(0) 推荐(0)