摘要：
一、针对hadoop跑得慢，如何才能优化呢？首先需要分析冒得慢的几个因素，分为硬件原因 MapReduce 程序效率的瓶颈在于两点： 1．计算机性能 CPU、内存、磁盘健康、网络 2、2．I/O 操作优化 （1）数据倾斜 （2）Map和Reduce数设置不合理 （3）Map运行时间太长，导致Redu 阅读全文
posted @ 2020-07-27 23:33
Velome
阅读(169)
评论(0)
推荐(0)
摘要：
对于Hadoop，可以进行压缩有三个阶段 分别是Map输入，Map输出，Reduce输出 Map阶段 map阶段的压缩主要可以减少读取磁盘的io操作，因为合理的设置都是会避免网络IO的产生，如果还产生了网络io那么肯定是切片不合理，需要修改切片设置 map阶段压缩存在一个问题，一般的压缩方式不能切片 阅读全文
posted @ 2020-07-27 00:44
Velome
阅读(194)
评论(0)
推荐(0)
浙公网安备 33010602011771号