会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
爱学习没办法
博客园
首页
新随笔
联系
订阅
管理
01 2020 档案
Hadoop企业优化
摘要:1、MapReduce跑的慢的原因 MapReduce程序效率的瓶颈主要在于两点: 1、机器性能不足(CPU、内存、磁盘健康、网络) 2、IO操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长,导致Reduce等待的时间太久 小文件 大量不可切分的超大文件 spill溢写次数过
阅读全文
posted @
2020-01-07 23:52
爱学习没办法
阅读(161)
评论(0)
推荐(0)
公告