大三寒假学习进度笔记4
今日学习时间两小时,开始学习RDD的内容,学习了RDD的创建和RDD算子的定义分类
RDD学习:
RDD五大特征:
- RDD是有分区的 分区是RDD数据存储的最小单位
- 计算方法会作用到每一个分区上
- RDD之间是由相互依赖的关系的
- KV型RDD可以有分区器 KV型RDD:存储的数据是二元元组
- RDD分区数据的读取会尽量靠近数据所在地
RDD算子:
Transformation算子:返回值仍然是一个RDD,称之为转换算子
Action算子:返回值不是RDD
节省下来是一些创建RDD的方法