会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
YL10000
生命不息,学习不止
博客园
::
首页
::
新随笔
::
联系
::
订阅
::
管理
公告
2017年2月27日
spark性能调优04-算子调优
摘要: 1、使用MapPartitions代替map 1.1 为什么要死使用MapPartitions代替map 普通的map,每条数据都会传入function中进行计算一次;而是用MapPartitions时,function会一次接受所有partition的数据出入到function中计算一次,性能较高
阅读全文
posted @ 2017-02-27 10:31 YL10000
阅读(3224)
评论(0)
推荐(0)