大作业

1.下载学生课程分数文件并分析文件内容结构

2.上传文件到hdfs上

 

 

 

3.hive创建学生课程分数表

 

 

 

4.导入文件内容到hive表中并查看数据前10行

 

 

 

 

 

 

5.取出与自己名字相匹配的一个人的课程分数录入到HBASE

 

 

 

6.取出全体学生的姓名，进行字母在名字中出现频率的统计

(1)复制姓名文本文件

 

 

 

(2)编写Map函数

 

 

 

(3)编写Reduce函数

 

 

 

(4) 用Streaming提交MapReduce任务

上传

 

 

 

 

编写代码

 

保存提交

 

 

 

 

 

 查看是否成功

 

 

 

(5)查看统计运行结果

 

 

 

7.在hive中进行数据分析

(1)查询学生的总人数

 

 

 

(2)查询总共有哪些课程

 

 

 

(3)按学生名字的长度进行各长度人数的统计

 

 

 

 

 

 

 

 

 

(4)查询各个课程的选修人数

 

 

 

(5)查询操作系统课程的最高分数，最低分

 

 

 

 

 

 

(6)查询每个课程的平均分

 

 

 

(7)查询某学生各科成绩平均分

 

 

 

(8)查询选修了操作系统课程且成绩在90分以上的所有学生

 

 

 

(9)查询每科课程的成绩第一名的分数

 

 

 

(10)查询数据库课程前3名的学生及分数