寒假学习4
厦门大学林子雨，赖永炫，陶继平 编著
《Spark 编程基础（Scala 版）》
教材配套
机房上机实验指南
实验 4 RDD 编程初级实践
（版本号：2018 年 7 月 19 日版本）
（题目）
主讲教师：林子雨
厦门大学数据库实验室
二零一八年七月
目录
一、实验目的...................................................................................................................................1
二、实验平台...................................................................................................................................1
三、实验内容和要求.......................................................................................................................1
1．spark-shell 交互式编程 ......................................................................................................1
2.编写独立应用程序实现数据去重........................................................................................2
3.编写独立应用程序实现求平均值问题................................................................................2
四、实验报告...................................................................................................................................3
附录 1:任课教师介绍 ......................................................................................................................3
附录 2：课程教材介绍....................................................................................................................4
附录 3：高校大数据课程公共服务平台介绍................................................................................5
主讲教师：林子雨
http://www.cs.xmu.edu.cn/linziyu
第 1 页
厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础（Scala 版）》 教材配套机房上机实验指南
实验 4 RDD 编程初级实践
厦门大学林子雨,赖永炫,陶继平 编著
《Spark 编程基础（Scala 版）》
第 5 章 RDD 编程
教材配套机房上机实验指南
实验 4 RDD 编程初级实践
（题目）
E-mail: ziyulin@xmu.edu.cn 个人主页：http://www.cs.xmu.edu.cn/linziyu
一、实验目的
（1）熟悉 Spark 的 RDD 基本操作及键值对操作；
（2）熟悉使用 RDD 编程解决实际具体问题的方法。
二、实验平台
操作系统：Ubuntu16.04
Spark 版本：2.1.0
三、实验内容和要求
1．spark-shell 交互式编程
请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt，该数据集包含
了某大学计算机系的成绩，数据格式如下所示：
Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……
请根据给定的实验数据，在 spark-shell 中通过编程来计算以下内容：
（1）该系总共有多少学生；
主讲教师：林子雨
http://www.cs.xmu.edu.cn/linziyu
第 1 页
厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础（Scala 版）》 教材配套机房上机实验指南
实验 4 RDD 编程初级实践
（2）该系共开设来多少门课程；
（3）Tom 同学的总成绩平均分是多少；
（4）求每名同学的选修的课程门数；
（5）该系 DataBase 课程共有多少人选修；
（6）各门课程的平均分是多少；
（7）使用累加器计算共有多少人选了 DataBase 这门课。
2.编写独立应用程序实现数据去重
对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其
中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。
输入文件 A 的样例如下：
20170101
20170102
20170103
20170104
20170105
20170106
x
y
x
y
z
z
输入文件 B 的样例如下：
20170101
20170102
20170103
20170104
20170105
y
y
x
z
y
根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下：
20170101
20170101
20170102
20170103
20170104
20170104
20170105
20170105
20170106
x
y
y
x
y
z
y
z
z
3.编写独立应用程序实现求平均值问题
每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生
名字，第二个是学生的成绩；编写 Spark 独立应用程序求出所有学生的平均成绩，并输出到
一个新文件中。下面是输入文件和输出文件的一个样例，供参考。
Algorithm 成绩：
小明 92
小红 87
主讲教师：林子雨
http://www.cs.xmu.edu.cn/linziyu
第 2 页
厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础（Scala 版）》 教材配套机房上机实验指南
实验 4 RDD 编程初级实践
小新 82
小丽 90
Database 成绩：
小明 95
小红 81
小新 89
小丽 85
Python 成绩：
小明 82
小红 83
小新 94
小丽 91
平均成绩如下：
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)
四、实验报告
《Spark 编程基础》实验报告
题目：
姓名：
日期：
实验环境：
实验内容与完成情况：
出现的问题：
解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：
附录 1:任课教师介绍
主讲教师：林子雨
http://www.cs.xmu.edu.cn/linziyu
第 3 页
厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础（Scala 版）》 教材配套机房上机实验指南
实验 4 RDD 编程初级实践
林子雨(1978－),男,博士,厦门大学计算机科学系助理教授,主要研究领域为
数据库,数据仓库,数据挖掘,大数据
主讲课程：《大数据处理技术》
办公地点：厦门大学海韵园科研 2 号楼
E-mail: ziyulin@xmu.edu.cn
个人主页：http://www.cs.xmu.edu.cn/linziyu
数据库实验室网站：http://dblab.xmu.edu.cn
附录 2：课程教材介绍
林子雨、赖永炫、陶继平编著《Spark 编程基础（Scala 版）》
人民邮电出版社 ISBN:978-7-115-48816-9 定价：49.80 元
厦门大学林子雨、赖永炫和陶继平老师编著《Spark 编程基础》，以 Scala 作为开发 Spark
应用程序的编程语言，系统介绍了 Spark 编程的基础知识。全书共 8 章，内容包括大数据技
术概述、Scala 语言基础、Spark 的设计与运行原理、Spark 环境搭建和使用方法、RDD 编程、
Spark SQL、Spark Streaming、Spark MLlib 等。本书每个章节都安排了入门级的编程实践操
作，以便读者更好地学习和掌握 Spark 编程方法。本书官网免费提供了全套的在线教学资源，
包括讲义 PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。
本书可以作为高等院校计算机、软件工程、数据科学与大数据技术等专业的进阶级大数
据课程教材，用于指导 Spark 编程实践，也可供相关技术人员参考。
欢迎访问《Spark 编程基础》教材官方网站：http://dblab.xmu.edu.cn/post/spark/
主讲教师：林子雨
http://www.cs.xmu.edu.cn/linziyu
第 4 页
厦门大学林子雨,赖永炫,陶继平 编著《Spark 编程基础（Scala 版）》 教材配套机房上机实验指南
实验 4 RDD 编程初级实践
扫一扫访问教材官网
附录 3：高校大数据课程公共服务平台介绍
高校大数据课程公共服务平台，由中国高校首个“数字教师”的提出者和建设者——林
子雨老师发起，由厦门大学数据库实验室全力打造，由厦门大学云计算与大数据研究中心、
海峡云计算与大数据应用研究中心携手共建。这是国内第一个服务于高校大数据课程建设的
公共服务平台，旨在促进国内高校大数据课程体系建设，提高大数据课程教学水平，降低大
数据课程学习门槛，提升学生课程学习效果。平台服务对象涵盖高校、教师和学生。平台为
高校开设大数据课程提供全流程辅助，为教师开展教学工作提供一站式服务，为学生学习大
数据课程提供全方位辅导。平台重点打造“11 个 1 工程”，即 1 本教材（含官网）、1 个教师
服务站、1 个学生服务站、1 个公益项目、1 堂巡讲公开课、1 个示范班级、1 门在线课程、
1 个交流群（QQ 群、微信群）、1 个保障团队、1 个培训基地和 1 个实验平台。目前平台每
年访问量已经超过 100 万次，成为国内高校大数据教学知名品牌。
平台主页：http://dblab.xmu.edu.cn/post/bigdata-teaching-platform/
扫一扫访问平台主页
主讲教师：林子雨
http://www.cs.xmu.edu.cn/linziyu
第 5 页
实验代码：
package shiyan2;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class Merge {
/**
* @param args
* 对A,B两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C
*/
//重载map函数，直接将输入中的value复制到输出数据的key上
public static class Map extends Mapper<Object, Text, Text, Text>{
private static Text text = new Text();
public void map(Object key, Text value, Context context) throws IOException,InterruptedException{
text = value;
context.write(text, new Text(""));//括号内容作为中间结果扔出去交给shuffle处理
}
}
//重载reduce函数，直接将输入中的key复制到输出数据的key上
public static class Reduce extends Reducer<Text, Text, Text, Text>{
public void reduce(Text key, Iterable<Text> values, Context context ) throws IOException,InterruptedException{
context.write(key, new Text(""));
}
}
public static void main(String[] args) throws Exception{
// TODO Auto-generated method stub
Configuration conf = new Configuration();//程序运行时的参数
conf.set("fs.default.name","hdfs://node1:8020");
String[] otherArgs = new String[]{"/user/hadoop/input","/user/hadoop/output"}; /* 直接设置输入参数 */
if (otherArgs.length != 2) {
System.err.println("Usage: wordcount <in><out>");
System.exit(2);
}
Job job = Job.getInstance(conf,"Merge and duplicate removal");//设置环境参数
job.setJarByClass(Merge.class);//设置整个程序的类名
job.setMapperClass(Map.class);//添加Mapper类
job.setCombinerClass(Reduce.class);//设置Combiner类
job.setReducerClass(Reduce.class);//添加Reducer类
job.setOutputKeyClass(Text.class);//设置输出类型
job.setOutputValueClass(Text.class);//设置输出类型
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));//设置输入原始文件文件路径
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));//设置输出文件路径
//Job运行是通过job.waitForCompletion(true)，true表示将运行进度等信息及时输出给用户，false的话只是等待作业结束
boolean result = job.waitForCompletion(true);
System.exit(result ? 0 : 1);
}
}
浙公网安备 33010602011771号