会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
2018年8月3日
大数据生态圈中相关原理(1)
摘要: MapReduce 原理 客户端任务到jobTracker, jobTracker分发任务到map和reduce。 map从datasplit 中获取数据区,根据客户端的相关业务逻辑生成(K,V)对,数据先缓存到环形缓冲区,直到达到设定上限(默认为80%),然后会写入到磁盘上。写入磁盘之前,会进行分
阅读全文
posted @ 2018-08-03 21:24 叶子不要闹
阅读(215)
评论(0)
推荐(0)
编辑
叶子不要闹
公告
导航
博客园
首页
新随笔
联系
订阅
管理