089、Spark-RDD-检查点

所谓的检查点其实就是通过将RDD中间结果写入磁盘
由于血缘依赖过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果检查点之后有节点出现问题，可以从检查点开始重做血缘，减少了开销。
对RDD进行checkpoint操作并不会马上被执行，必须执行Action操作才能触发。

缓存和检查点区别

posted @ 2022-01-09 12:45  爱吃麻辣烫呀  阅读(54)  评论(0)    收藏  举报