hive 压缩全解读(hive表存储格式以及外部表直接加载压缩格式数据);HADOOP存储数据压缩方案对比(LZO,gz,ORC)
摘要:
数据做压缩和解压缩会增加CPU的开销,但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销,所以最好对那些I/O密集型的作业使用数据压缩,cpu密集型,使用压缩反而会降低性能。 而hive中间结果是map输出传给reduce,所以应该使用低cpu开销和高压缩效率,一般最好使用... 阅读全文
posted @ 2016-01-20 19:49 代码王子 阅读(877) 评论(0) 推荐(0)
浙公网安备 33010602011771号