会员
周边
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
CC11001100
驽马十驾,功在不舍
博客园
首页
新随笔
联系
订阅
管理
2019年1月22日
Spark笔记之数据本地性(data locality)
摘要: 一、什么是数据本地性(data locality) 大数据中有一个很有名的概念就是“移动数据不如移动计算”,之所以有数据本地性就是因为数据在网络中传输会有不小的I/O消耗,如果能够想办法尽量减少这个I/O消耗就能够提升效率。那么如何减少I/O消耗呢,当然是尽量不让数据在网络上传输,即使无法避免数据在网络上传输,也要尽量缩短传输距离,这个数据需要传输多远的距离(实际意味着数据传输的代价)就是数据...
阅读全文
posted @ 2019-01-22 02:02 CC11001100
阅读(4989)
评论(1)
推荐(2)
编辑
公告