会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
路虽远行则将至 事虽难做则必成
博客园
首页
新随笔
联系
订阅
管理
2022年8月16日
spark之依赖关系
摘要: spark的每个RDD都会记录从创建到当前算子的依赖(血缘关系),当该RDD的部分分区数据丢失时,它可以根据这些信息来重新运算和恢复丢失的数据分区 toDebugString 方法查看 OneToOneDependency窄依赖,上游的RDD的一个分区被下游的RDD的一个分区所独享(独生子女) Sh
阅读全文
posted @ 2022-08-16 14:51 吴玉川
阅读(44)
评论(0)
推荐(0)
编辑