4.RDD操作

一、 RDD创建

1. 从本地文件系统中加载数据创建RDD

image
image

2. 从HDFS加载数据创建RDD

启动hdfs
image
上传文件, 查看文件
image
加载
image
停止hdfs
image

3. 通过并行集合(列表)创建RDD

输入列表、字符串、生成数组
image

二、 RDD操作

转换操作

filter(func)
image
map(func)
字符串分词, 数字加10
image
字符串加固定前缀
image
flatMap(func)
image
groupByKey()
image
reduceByKey()
累加
image
乘法规则
image
sortByKey()
image
sortBy()
image
RDD写入文本文件
image
image

行动操作

image

posted @ 2022-03-16 20:32  紫陌凛风  阅读(32)  评论(0编辑  收藏  举报