网盘下载sc.txt文件,创建RDD,并转换得到DataFrame。

分别用DataFrame操作和spark.sql执行SQL语句实现以下数据分析:

  总共有多少学生?

  开设了多少门课程?

  每个学生选修了多少门课?

  每门课程有多少个学生选?

  每门课程>95分的学生人数

  有多少个100分?

  Tom选修了几门课?每门课多少分?

  Tom的成绩按分数大小排序。

  Tom选修了哪几门课?

  Tom的平均分。

  'OperatingSystem'不及格人数

  'OperatingSystem'平均分

  'OperatingSystem'90分以上人数

  'OperatingSystem'前3名

  每个分数按比例+20平时分。

  求每门课的平均分

  选修了7门课的有多少个学生?

  每门课大于95分的学生数

  每门课的选修人数、平均分、不及格人数、通过率

  优秀、良好、通过和不合格各有多少人?

  同时选修了DataStructure和 DataBase 的学生

  选修了DataStructure 但没有选修 DataBase 的学生

  选修课程数少于3门的同学

  选修6门及以上课程数的同学

  查询平均成绩大于等于60分的姓名和平均成绩

  找出平均分最高的10位同学

DataFrame操作:

  创建RDD,并转换得到DataFrame。

  

  总共有多少学生?

  

  开设了多少门课程?

  

  每个学生选修了多少门课?

  

  每门课程有多少个学生选?

  

  每门课程>95分的学生人数

  

  有多少个100分?

  

  Tom选修了几门课?每门课多少分?Tom选修了哪几门课?

  

  Tom的成绩按分数大小排序。

  

  Tom的平均分。

  

  'OperatingSystem'不及格人数

  

  'OperatingSystem'平均分

  

  'OperatingSystem'90分以上人数

  

  'OperatingSystem'前3名

  

  每个分数按比例+20平时分。

  

  求每门课的平均分

  

  求每门课的最高分

  

  求每门课的最低分

  

  选修了7门课的有多少个学生?

  

   每门课大于95分的学生数

  

   每门课的选修人数、平均分、不及格人数、通过率

    选修人数:

   

    平均分:

  

    不及格人数:

  

     通过率:

  

  优秀、良好、通过和不合格各有多少人?

    优秀:

  

    良好:

  

    通过:

  

    不合格:

  

   同时选修了DataStructure和 DataBase 的学生

  

  选修了DataStructure 但没有选修 DataBase 的学生

  

  选修课程数少于3门的同学

  

  选修6门及以上课程数的同学

  

   查询平均成绩大于等于60分的姓名和平均成绩

  

  找出平均分最高的10位同学

  

 SQL语句实现

  总共有多少学生?

  

  开设了多少门课程?

  

  每个学生选修了多少门课?

  

  每门课程有多少个学生选?

  

  每门课程>95分的学生人数

  

  有多少个100分?

  

  Tom选修了几门课?每门课多少分?Tom选修了哪几门课?

  

  Tom的成绩按分数大小排序。

  

  Tom的平均分。

  

  'OperatingSystem'不及格人数

  

  'OperatingSystem'平均分

  

  'OperatingSystem'90分以上人数

  

  'OperatingSystem'前3名

  

  每个分数按比例+20平时分。

  

  求每门课的平均分

  

  选修了7门课的有多少个学生?

  

  每门课的选修人数、平均分、不及格人数、通过率

    选修人数:

  

    平均分:

  

    不及格人数:

  

    通过率:

  

  优秀、良好、通过和不合格各有多少人?

    优秀:

  

    良好:

  

    通过:

  

    不及格:

  

  同时选修了DataStructure和 DataBase 的学生

  

  选修了DataStructure 但没有选修 DataBase 的学生

  

  选修课程数少于3门的同学

  

  选修6门及以上课程数的同学

  

  查询平均成绩大于等于60分的姓名和平均成绩

  

  找出平均分最高的10位同学

  

posted on 2022-05-27 14:24  泽浩111  阅读(34)  评论(0编辑  收藏  举报