05 RDD编程

按字母顺序排序 sortBy(f)

 

按词频排序 sortByKey()

二、学生课程分数案例

  • 总共有多少学生?map(), distinct(), count()
  • 开设了多少门课程?
  • 每个学生选修了多少门课?map().countByValue()           //map(), countByKey()
  • 每门课程有多少个学生选?map(), countByValue()
  • Tom选修了几门课?每门课多少分?filter(), map() RDD
  • Tom选修了几门课?每门课多少分?map(),lookup()  list
  •  生成(课程,分数)RDD,观察keys(),values()

      .每个分数+5分。mapValues(func)

      .求每门课的选修人数及所有人的总分。combineByKey()

      .求每门课的选修人数及平均分,精确到2位小数。map(),round()

      .求每门课的选修人数及平均分。用reduceByKey()实现,并比较与combineByKey()的异同。

      combineByKey是一个相对底层的基于键进行聚合的基础方法,大多数基于键聚合的方法,例如reduceByKey,groupByKey都是用它实现的。

posted @ 2021-04-19 12:21  八号疯球  阅读(43)  评论(0编辑  收藏  举报