4.RDD操作

一、 RDD创建

　　1.从本地文件系统中加载数据创建RDD

 

 　　2.从HDFS加载数据创建

 

 

 

 

 

 　　3.通过并行集合（列表）创建RDD

　　　　输入列表，字符串，numpy生成数组

　　　　

二、 RDD操作

转换操作

1. map(func)

2. filter(func)

 

 

 

行动操作

1.foreach(print)

2.collect()

3.flatMap(func)

 

4.reduceByKey()

5. groupByKey()

6.sortByKey()

7.sortBy()

 

 

 

行动操作

1.foreach(print)
  foreach(lambda a:print(a.upper())

2.collect()

3.count()

4.take(n)

5.reduce() 

 

reduce——将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。

redeceByKey——对元素为KV对的RDD中Key相同的元素的Value进行binary_function的reduce操作，因此，Key相同的多个元素的值被reduce为一个值，然后与原RDD中的Key组成一个新的KV对。