2019年5月15日
大数据学习之hadoop的优化16
摘要： hadoop优化 1）mr程序的效率瓶颈 功能：分布式离线计算 ->计算机性能 CPU、内存、磁盘、网络 ->I/O操作优化 （1）数据倾斜（代码优化） （2）map和reduce数设置不合理 （3）map运行时间太长，导致reduce等待过久 （4）小文件过多（combineTextInputFo 阅读全文
posted @ 2019-05-15 12:24 大魔王阿黎 阅读(173) 评论(0) 推荐(0)