08 学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。
一、用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比
1.每个分数+5分

2.总共有多少学生?

3.总共开设了哪些课程?

4.每个学生选修了多少门课?

5.每门课程有多少个学生选?
6.每门课程大于95分的学生人数?

7.Tom选修了几门课?

8.每门课多少分?

9.Tom的成绩按分数大小排序

10.Tom的平均分

11.求每门课的平均分,最高分,最低分



12.求每门课的选修人数及平均分,精确到2位小数

13.每门课的不及格人数,通过率结果可视化

二、用SQL语句完成以上数据分析要求
1.每个分数+5分

2.总共有多少学生?

3.总共开设了哪些课程?

4.每个学生选修了多少门课?

5.每门课程有多少个学生选?

6.每门课程大于95分的学生人数?

7.Tom选修了几门课?

8.每门课多少分?

9.Tom的成绩按分数大小排序

10.Tom的平均分

11.求每门课的平均分,最高分,最低分

12.求每门课的选修人数及平均分,精确到2位小数

13.每门课的不及格人数

三、对比分别用RDD操作实现、用DataFrame操作实现和用SQL语句实现的异同。(比较两个以上问题)
四、结果可视化。


浙公网安备 33010602011771号