2021年1月20日
Spark06-RDD分区、缓存与Checkpoint讲解
摘要： 在上篇讲解完常用的RDD算子的具体使用后，我们本节来理解RDD的特性，包括三个方面： 1、RDD 的分区和Shuffle过程 2、RDD 缓存 3、RDD 的 CheckPoint RDD的Shuffle和分区 分区的作用 （1）RDD经常需要通过读取外部系统的数据来创建，外部存储系统往往是支持分片 阅读全文
posted @ 2021-01-20 20:59 大雪初晴丶 阅读(382) 评论(0) 推荐(0) 编辑