2018年8月14日
spark checkpoint机制
摘要： 首先rdd.checkpoint()本身并没有执行任何的写操作，只是做checkpointDir是否为空，然后生成一个ReliableRDDCheckpointData对象checkpointData，这个对象完成checkpoint的大部分工作。 真正触发checkpoint操作的是rdd调用完c 阅读全文
posted @ 2018-08-14 10:43 天添 阅读(294) 评论(0) 推荐(0) 编辑