会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
路虽远行则将至 事虽难做则必成
博客园
首页
新随笔
联系
订阅
管理
2022年4月30日
spark中map和mapPartitions的区别
摘要: 数据处理角度 Map算子是分区内一个数据一个数据的执行,类似于串行操作。而mapPartitions算子是以分区为单位进行批处理操作。 功能的角度 Map算子主要目的将数据源中的数据进行转换和改变。但是不会减少或增多数据。MapPartitions算子需要传递一个迭代器,返回一个迭代器,没有要求的元
阅读全文
posted @ 2022-04-30 17:03 吴玉川
阅读(90)
评论(0)
推荐(0)