haodoop数据压缩

压缩概述

压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络宽带和磁盘空间的效率。在运行MR程序时，I/O操作，网络数据传输，Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。

鉴于磁盘I/O和网络宽带是Hadoop的宝贵资源，数据压缩对于节省资源，最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。

压缩策略和原则

压缩是提高Hadoop运行效率的一种优化策略

通过对Mapper，Reducer运行过程的数据进行压缩，以减少磁盘IO，提高MR程序运行速度

注意：采用压缩技术减少了磁盘IO，但同时增加了CPU运算负担。所以，压缩特性运用得当能提高性能，但运用不当也可能降低性能

压缩基本准则：

1. 运算密集型的job，少用压缩
2. IO密集型的job，多用压缩

MR支持的压缩编码

压缩格式	hadoop自带？	算法	文件扩展名	是否可切分	换成压缩格式后，原来的程序是否需要修改
DEFLATE	是，直接使用	DEFLATE	.deflate	否	和文本处理一样，不需要修改
Gzip	是，直接使用	DEFLATE	.gz	否	和文本处理一样，不需要修改
bzip2	是，直接使用	bzip2	.bz2	是	和文本处理一样，不需要修改
LZO	否，需要安装	LZO	.lzo	是	需要建索引，还需要指定输入格式
Snappy	是，直接使用	Snappy	.snappy	否	和文本处理一样，不需要修改

压缩格式	对应的编码/解码器
DEFLATE	org.apache.hadoop.io.compress.DefaultCodec
gzip	org.apache.hadoop.io.compress.GzipCodec
bzip2	org.apache.hadoop.io.compress.BZip2Codec
LZO	com.hadoop.compression.lzo.LzopCodec
Snappy	org.apache.hadoop.io.compress.SnappyCodec

压缩算法	原始文件大小	压缩文件大小	压缩速度	解压速度
gzip	8.3GB	1.8GB	17.5MB/s	58MB/s
bzip2	8.3GB	1.1GB	2.4MB/s	9.5MB/s
LZO	8.3GB	2.9GB	49.3MB/s	74.6MB/s

压缩方式选择

Gzip压缩

• 优点

  压缩率比较高，而且压缩/解压速度也比较快；Hadoop本身支持，在应用中处理Gzip格式的文件就和直接处理文本一样；大部分Linux系统都自带Gzip命令，使用方便

• 缺点

  不支持Split

• 应用场景

  当每个文件压缩之后再130M以内的（1个块大小内），都可以考虑Gzip压缩格式，例如说一天或者一个小时的日志压缩成一个Gzip文件

Bzip2压缩

• 优点

  支持Split；具有很高的压缩率，比Gzip压缩率都高；Hadoop本身自带，使用方便

• 缺点

  压缩/解压速度慢

• 应用场景

  适合对速度要求不高，但需要较高的压缩率的时候；或者输出之后的数据比较打，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用的比较少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持S普利特，而且兼容之前的应用程序的情况

Lzo压缩

• 优点

  压缩/解压速度也比较快，合理的压缩率；支持Split，是Hadoop中最流行得压缩格式；可以在Linux系统下安装lzop命令，使用方便

• 缺点

  压缩率比Gzip要低一些；Hadoop本身不支持，需要安装；在应用中Lzo格式得文件需要做一些特殊处理（为了支持Split需要建索引，还需要指定InputFormat为Lzo格式）

• 应用场景

  一个很大得文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，Lzo优点越明显

Snappy压缩

• 优点

  高速压缩速度和合理的压缩率

• 缺点

  不支持Split；压缩率比Gzip要低；Hadoop本身不支持，需要安装

• 应用场景

  当MapReduce作业的Map输出的数据比较大的时候，作为Map到Reduce的中间数据的压缩格式；或者作为一个MapReduce作业的输出和另外一个MapReduce作业的输入

压缩位置选择

压缩可以在MapReduce作用的任意阶段启用。