大三寒假学习进度笔记4

今日学习时间两小时,开始学习RDD的内容,学习了RDD的创建和RDD算子的定义分类

RDD学习:

RDD五大特征:

  1. RDD是有分区的 分区是RDD数据存储的最小单位
  2. 计算方法会作用到每一个分区上
  3. RDD之间是由相互依赖的关系的
  4. KVRDD可以有分区器 KVRDD:存储的数据是二元元组
  5. RDD分区数据的读取会尽量靠近数据所在地

 

RDD算子:

Transformation算子:返回值仍然是一个RDD,称之为转换算子

Action算子:返回值不是RDD

 节省下来是一些创建RDD的方法

 

posted @ 2024-01-13 22:09  wrf12  阅读(7)  评论(0)    收藏  举报