随笔分类 -  hadoop

Hadoop-HA机制工作原理
摘要：一、Hadoop 系统架构 1.1 Hadoop1.x和Hadoop2.x 架构 在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。Hadoop 1.x之前，其官方架构如图1所示: [ 图1.Hadoop 1.x架构图 ] 从图中可看出，1.x版本之前只有一个Namen 阅读全文
posted @ 2019-03-11 08:46 丿少女梦丶 阅读(1885) 评论(0) 推荐(1)
shuffle的工作原理
摘要：Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里的Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里Shuffle是什么，那么请看这张图： 这张是官方对Shuffle过程的描述。但我可以肯定的是， 阅读全文
posted @ 2019-03-05 17:25 丿少女梦丶 阅读(1235) 评论(0) 推荐(0)
MapReduce的工作原理
摘要：MapReduce简介 MapReduce是一种并行可扩展计算模型，并且有较好的容错性，主要解决海量离线数据的批处理。实现下面目标 ★ 易于编程 ★ 良好的扩展性 ★ 高容错性 MapReduce有哪些角色？各自的作用是什么？ MapReduce由JobTracker和TaskTracker组成。J 阅读全文
posted @ 2019-03-05 17:13 丿少女梦丶 阅读(571) 评论(0) 推荐(0)
yarn的工作原理
摘要：1、YARN 是什么？ 从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看，MapReduce的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷。在过去的几年中，hadoop 开发团队做了一些 bug 的 阅读全文
posted @ 2019-03-04 09:41 丿少女梦丶 阅读(3331) 评论(0) 推荐(0)