SparkSQL综合作业

分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析

1.总共有多少学生？

RDD：

DataFrame操作

park.sql执行SQL语句

 

 2.总共开设了多少门课程？

RDD：

DataFrame操作

park.sql执行SQL语句

3.每门课程>95分的学生人数

RDD

DataFrame操作

park.sql执行SQL语句

4.课程'Python'有多少个100分？

RDD

DataFrame操作

park.sql执行SQL语句

5.Tom选修了几门课？每门课多少分？

RDD

DataFrame操作

park.sql执行SQL语句

6.Tom的成绩按分数大小排序。

RDD

DataFrame操作

park.sql执行SQL语句

7.Tom选修了哪几门课？

RDD

DataFrame操作

park.sql执行SQL语句

8.Tom的平均分。

RDD

DataFrame操作 

park.sql执行SQL语句

9.'OperatingSystem'不及格人数

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

10.'OperatingSystem'平均分

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

11.'OperatingSystem'90分以上人数

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

12.'OperatingSystem'前3名

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

13.每个分数按比例+20平时分。

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

14.求每门课的平均分

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

15.选修了7门课的有多少个学生？

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

16.每门课大于95分的学生数

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

17.每门课的选修人数、平均分、不及格人数、通过率

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

18.优秀、良好、通过和不合格各有多少人？

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

19.同时选修了DataStructure和 DataBase 的学生

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

20.选修了DataStructure 但没有选修 DataBase 的学生

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

21.选修课程数少于3门的同学

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

22.选修6门及以上课程数的同学

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

23.查询平均成绩大于等于60分的姓名和平均成绩

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句

 

24.找出平均分最高的10位同学

 

RDD

 

DataFrame操作

 

park.sql执行SQL语句