2022年8月16日
摘要: spark的每个RDD都会记录从创建到当前算子的依赖(血缘关系),当该RDD的部分分区数据丢失时,它可以根据这些信息来重新运算和恢复丢失的数据分区 toDebugString 方法查看 OneToOneDependency窄依赖,上游的RDD的一个分区被下游的RDD的一个分区所独享(独生子女) Sh 阅读全文
posted @ 2022-08-16 14:51 吴玉川 阅读(44) 评论(0) 推荐(0) 编辑