hadoop学习笔记(十一):MapReduce数据类型

一、序列化

1 hadoop自定义了数据类型,在hadoop中,所有的key/value类型必须实现Writable接口。有两个方法,一个是write,一个是readFileds。分别用于读(反序列化操作)和写(序列化操作)。

2 所有的key必须实现Comparable接口,在MapReduce过程中需要对key/value对进行反复的排序,默认情况下依据key进行排序,要实现compareTo()方法,所以通过key既要实现Writable接口又要实现Comparable接口。

3 因此,hadoop中提供了一个公共的接口WritableComparable接口,这个接口继承了Writable和Comaprable接口。

4 由于需要序列化和反序列化和比较,需要对java对象重写一下几个方法:

  1、equlas()方法。

  2、hashcode()方法。

  3、toString()方法。

  4、数据类型必须有一个默认的无参的构造方法,为了方便反射,进行创建对象。

序列化的概念:

所谓序列化(serialization),是指将结构化对象转化为字节流,以便在网络上传输或写到磁盘进行永久存储

在分布式数据里的两大领域里,序列化经常出现,进程间通信和永久存储

在hadoop中,系统多个节点上进程间的通信是通过“远程过程调用”(remote procedure call,RPC)实现的。RPC协议将消息序列化成二进制流后发送到远程节点,远程节点接着将二进制流反序列化为原始消息。

hadoop使用自己的序列化格式(Writable),它格式紧凑、速度快,但很难用Java以外的语言进行扩展或使用。因为Writable是hadoop核心(大多数MapReduce程序都会以键和值使用它)。

反序列化的概念:

反序列化是指将字节流转回结构化对象的过程。

二、数据类型

数据类型都实现了Writable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件存储。

基本数据类型:

Java基本数据类型 名称 类型 序列化大小
boolean BooleanWritable 标准布尔类型数值 1
byte ByteWritable 单字节数值 1
double DoubleWritable 双字节数值 8
float FloatWritable 浮点数 4
int IntWritable 整型数 4
  VintWritable  可变长度整型数 1~5
long LongWritable  长整型数 8
  VlongWritable  可变长度长整型数 1~9
  Text 使用UTF-8格式存储文本  
  NullWritable 当<key,value>中的key或value为空时使用  

注意:在自定义数据类型中,建议使用java原生的数据类型,最好不要使用hadoop封装的数据类型。

三、比较器(Comparable)

当数据写入磁盘时,如果要进行排序的话, 需要首先从磁盘读取数据,进行反序列化成对象,然后在内存中对反序列化的对象进行比较。为什么不直接在内存中就直接进行比较呢?

如果要实现上述功能,hadoop数据类型需要实现一个接口RawComparator接口

RawComarator

对MapReduce来说,类型的比较是非常重要的,因为中间有一个基于键的排序阶段。hadoop提供的一个优化接口是继承自Java Comparator的RawComparator接口。

该接口允许其实现直接比较数据流中的记录,无须先把数据反序列化为对象,这样便避免了新建对象的额外开销。例如,我们根据IntWritable接口实现的comparator实现了comare()方法,该方法可以从每个字节数组b1和b2中读取给定起始位置(s1和s2)以及长度(l1和l2)的一个整数进而直接进行比较。

WritableComarator是对继承自WritableComparable类的RawComaparator类的一个通用实现,它提供两个主要功能。

第一、它提供了对原始compare()方法的一个默认实现,该方法能够反序列化在流中进行比较的对象,并调用对象的compare()方法。

第二、它充当的是RawComparator实例的工厂(已注册Writable的实现)。例如,为了获得IntWritable的comparator,我们直接如下调用:

这个comparator可以用于比较两个IntWritable对象;

或其序列化表示:

四、NullWritable

NullWritable是Writable的一个特殊类型,它的序列化长度为0.它并不从数据流中读取数据,也不写入数据。它充当占位符;例如,在MapReduce中,如果你不需要使用键或值,就可以将键或值声明为NullWritable。结果是存储常量空值。如果希望存储一系列数值,与键值对相对,NullWritable也可以用作在SequenceFile中的键。它是一个不可变的单实例类型:通过调用NullWritable.get()方法可以获取这个实例。

五、ObjectWritable && GenericWritable

ObjectWitable是对Java基本类型(String,enum,Writable,null或这些类型组成的数组)的一个通用封装,它在hadoop RPC中用于对方法的参数和返回类型进行封装和解封装

当一个字段中包含多个类型时,ObjectWritable是非常有用的:例如,如果SequenceFile中的值包含多个类型,就可以将值类型声明为ObjectWritable,并将每个类型封装在一个ObjectWritable中。作为一个通用机制,每次序列化都写封装类型的名字,这非常浪费空间。如果封装的类型数量比较少并且能够提前知道,那么可以通过使用静态类型的数组,并使用对序列化后的类型的引用加入位置索引提高性能。这是GenericWritable类采取的方法,并且你可以在继承的子类中指定需要支持的类型。

posted @ 2018-04-28 11:00  老王和小杨  阅读(...)  评论(...编辑  收藏