1、从本地文件系统中加载数据创建RDD

 

 

2.从HDFS加载数据创建RDD启动hdfs,然后上传文件

(3)flatMap(func)

 

HDFS加载数据创建RDD

 

 停止hdfs

 

 

3.通过并行集合(列表)创建RDD

1.输入列表,字符串,生成

 

 

 

 

 

2. RDD操作

1.转换操作

(1)filter(func)

 

 

(2)map(func)

(3)flatMap(func)

 

 

(4)reduceByKey(func)

 

 

(5)grounpByKey()

 

 

(6)sortByKeysorBy(func)

 

 

(7)RDD写入文本文件

 

 

行动操作

 

 

 

 

posted on 2022-03-21 20:01  侨少  阅读(21)  评论(0)    收藏  举报