2019年8月26日
【Hadoop】Hadoop的数据压缩方式
摘要： 概述 ​ 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/ 阅读全文
posted @ 2019-08-26 22:05 ShadowFiend 阅读(1318) 评论(0) 推荐(1) 编辑