2020年11月17日

序列化
摘要： Hadoop的key和value的传递序列化需要涉及两个重要的接口Writable和WritableComparable： WritableComparable比Writable多了一个compareTo方法，用来判断key是否唯一或者说是不是相同。 Hadoop为Key的数据类型必须实现Writa 阅读全文
posted @ 2020-11-17 16:56 happygril3 阅读(74) 评论(0) 推荐(0)
partition
摘要： spill溢出前需要对数据进行分区和排序，即会对环形缓冲区里面的每个(k,v)键值对hash一个partition值，相同partition值为同一分区，然会把环形缓冲区中的数据根据partition值和key值两个关键字升序排序；同一partition内的按照key排序； package com. 阅读全文
posted @ 2020-11-17 16:49 happygril3 阅读(470) 评论(0) 推荐(0)
WritableComparable
摘要： WritableComparable继承自Writable和java.lang.Comparable接口，是一个Writable也是一个Comparable，也就是说，既可以序列化，也可以比较！ WritableComparable的实现类之间相互来比较，在Map/Reduce中，任何用作键来使用的 阅读全文
posted @ 2020-11-17 16:44 happygril3 阅读(225) 评论(0) 推荐(0)
MapReduce
摘要： 2. MAPREDUCE框架结构及核心运行机制 2.1 框架架构 一个完整的mapreduce程序在分布式运行时有三类实例进程：1、MRAppMaster(Mapreduce application master)：负责整个程序的过程调度及状态协调2、MapTask：负责map阶段的整个数据处理流程 阅读全文
posted @ 2020-11-17 16:32 happygril3 阅读(138) 评论(0) 推荐(0)

导航