6. RDD综合练习：更丰富的操作

点击免登录百度网盘下载PPT

集合运算练习

union()， intersection()，subtract(), cartesian()

rdd1 = sc.parallelize('abcd')
rdd2 = sc.parallelize('bcde')
rdd1.union(rdd2).collect()
rdd1.subtract(rdd2).collect()
rdd1.intersection(rdd2).collect()
rdd1.cartesian(rdd2).collect()

三、学生课程分数

• 持久化
  scm.cache()
• 总共有多少学生？开设了多少门课程？
  map(), distinct(), count()

url='sc.txt'
scm=sc.textFile(url).map(lambda line:line.split(',')).map(lambda line:[line[0],line[1],int(line[2])])
scm.cache()
scm.map(lambda line:line[0]).distinct().count()
scm.map(lambda line:line[1]).distinct().count()
scm.count()

---

• 生成（姓名，课程分数）键值对RDD，观察
  keys(),values()

name = scm.map(lambda a:(a[0],(a[1],a[2])))
name.take(3)
name.keys().take(6)
name.values().take(6)

---

• 每个学生选修了多少门课？
  map(), countByKey()
• 每门课程有多少个学生选？
  map(), countByValue()
• 有多少个100分？

name.countByKey()['Tom']
name.countByKey()
name.values().countByKey()
name.values().values().countByValue()[100]

---

• Tom选修了几门课？每门课多少分？
  filter(), map() RDD
• Tom选修了几门课？每门课多少分？
  map(),lookup() list

name.lookup('Tom')
scm.filter(lambda a:a[0]=='Tom').collect()
len(name.lookup('Tom'))
scm.filter(lambda a:a[0]=='Tom').count()
name.filter(lambda a:a[0]=='Tom').collect()

---

• Tom的成绩按分数大小排序。
  filter(), map(), sortBy()
• Tom的平均分。
  map(),lookup(),mean()

name.filter(lambda a:a[0]=='Tom').values().collect()
name.filter(lambda a:a[0]=='Tom').values().sortBy(lambda a:a[1],False).collect()
import numpy as np
np.mean(scm.filter(lambda a:a[0]=='Tom').map(lambda a:a[2]).collect())

---

• 生成（课程，分数）RDD，观察keys(),values()
• 每个分数+20平时分。分别用mapValues(func)和 map(func)实现，并查看不及格人数的变化。

name.collect()
name.collectAsMap()
scm.filter(lambda a:a[2]<60).count()
adjust = scm.map(lambda a:((a[0],a[1]),a[2])).mapValues(lambda v:v*0.8+20)
adjust.first()
adjust.filter(lambda a:a[1]<60).count()

---

• 求每门课的选修人数及平均分
  • lookup(),np.mean()实现
  • reduceByKey()和collectAsMap()实现
  • combineByKey()，map()，round()实现，确到2位小数
  • 比较几种方法的异同。

# lookup(),np.mean()实现

course = sc.textFile(url).map(lambda a:a.split(',')).map(lambda b:(b[1],b[2]))
course.first()
course.lookup('OperatingSystem')
np.mean(list(map(int, course.lookup('OperatingSystem'))))

# reduceByKey()和collectAsMap()实现

cm = scm.map(lambda a:(a[1], int(a[2])))
cm.first()
cm.reduceByKey(lambda a,b:a+b).collectAsMap()
cm.countByKey()

# combineByKey()，map()，round()实现，确到2位小数

course=sc.textFile(url).map(lambda line:line.split(',')).map(lambda line:(line[1],line[2]))
course.first()
courseC=course.combineByKey(
  lambda v: (int(v),1),
  lambda c,v:(c[0]+int(v),c[1]+1),
  lambda c1,c2:(c1[0]+c2[0],c1[1]+c2[1]))
courseC.first()
courseC.map(lambda x:(x[0],x[1][1],round(x[1][0]/x[1][1],2))).collect()