4.RDD操作

一、 RDD创建

 

 

 

 

 

 

 

 

 

 

 

 

 

二、 RDD操作

1、filter(func)

 

2、map(func)

a字符串分词:

 

 

  b数字加100:

 

 c客串加固定前缀:

 

 

3、flatMap(func)

a分词:

 

 

 b单词映射成键值对:

 

 

4、reduceByKey()

a统计词频，累加：

 

 

 

 b乘法规则:

 

 5、 groupByKey()

 

 

 

 6、 sortByKey()

 

 7、sortBy()

 

 

行动操作

1、foreach(print)

 

  foreach(lambda a:print(a.upper())

2、collect（）

 3、count()

4、take(n)

5、reduce()