2025/11/13日 每日总结 Spark初级编程实践——文件读取、数据去重与平均值计算

Spark初级编程实践——文件读取、数据去重与平均值计算

前言

Spark作为一款快速、通用的分布式大数据处理引擎，凭借基于内存计算的特性，相比传统MapReduce在处理效率上实现了数量级的提升，同时其简洁的编程接口大幅降低了大数据开发门槛。本次实验围绕Spark核心基础操作展开，通过文件系统数据读取、数据合并去重、学生平均成绩计算三个典型案例，系统掌握Spark的基本编程方法、RDD核心操作逻辑，以及独立应用程序的打包与集群运行流程，深入理解Spark在大数据处理场景中的核心优势。

实验环境

• 操作系统：Ubuntu 16.04 / Ubuntu 18.04

• Spark版本：2.4.0

• Hadoop版本：3.1.3

• JDK版本：1.8（默认依赖）

  核心实验内容

  一、Spark文件系统数据读取

  Spark支持灵活读取本地文件系统和HDFS分布式文件系统的数据，是大数据处理的基础操作：

1. 本地文件读取（spark-shell交互式操作）：
   启动spark-shell后，通过sc.textFile("/home/hadoop/test.txt")读取Linux本地指定路径的文本文件，调用count()行动算子统计文件总行数，快速验证文件读取与数据计数逻辑。

2. HDFS文件读取（spark-shell交互式操作）：
   若HDFS中/user/hadoop/test.txt文件不存在，先通过HDFS Shell命令创建并写入测试数据；再在spark-shell中执行sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")（或简写为sc.textFile("/user/hadoop/test.txt")）读取文件，同样通过count()统计行数，需注意HDFS路径与本地路径的格式区别。

3. 独立应用程序实现（Scala编程）：

• 编写Scala程序：通过SparkContext读取HDFS中的test.txt文件，实现行数统计逻辑；

• 编译打包：配置build.sbt文件声明Spark依赖，使用sbt工具将程序编译打包为JAR包；

• 集群提交：通过spark-submit命令将JAR包提交至Spark集群运行，验证分布式环境下的程序执行效果。

  二、数据合并与去重

  针对多文件数据合并并剔除重复内容的典型场景，利用Spark RDD的转换算子高效实现：

1. 需求场景：将两个输入文件A和B的内容合并，剔除重复行后输出至文件C。

2. 实现思路：

• 读取数据：通过sc.textFile()分别读取文件A和文件B，得到两个RDD；

• 合并数据：调用union()算子将两个RDD合并为一个新的RDD；

• 数据去重：使用distinct()算子剔除合并后RDD中的重复元素；

• 结果输出：通过saveAsTextFile()将去重后的结果保存至指定路径（支持本地或HDFS路径）。

  三、学生平均成绩计算

  基于RDD的键值对操作实现聚合计算，是Spark数据处理的核心应用场景：

1. 需求场景：多个输入文件存储不同学科的学生成绩（每行格式为“姓名 成绩”），计算每个学生的所有学科平均成绩并输出。

2. 实现思路：

• 读取多文件数据：通过sc.textFile("成绩文件目录/*")读取目录下所有成绩文件，生成统一RDD；

• 数据格式转换：使用map()算子将每行数据拆分，转换为(姓名, 成绩（Double类型）)的键值对RDD；

• 聚合统计：调用reduceByKey()算子按姓名聚合，计算每个学生的总成绩和科目数量（如(总分, 科目数)）；

• 平均值计算：通过mapValues()算子对聚合结果处理，计算平均值（总分/科目数）；

• 结果输出：调用collect()或saveAsTextFile()输出最终的学生姓名与平均成绩。

  实验核心知识点与心得

  1. Spark Shell与独立应用程序的适用场景

• Spark Shell：交互式编程环境，支持即时编写、执行代码，适合数据探索、逻辑验证、简单操作测试，无需编译打包，开发效率高；

• 独立应用程序：基于Scala/Java/Python编写，需编译打包后提交集群运行，适合生产环境下的稳定任务，支持复杂业务逻辑开发与调度。

  2. RDD核心特性与操作逻辑

• RDD（弹性分布式数据集）是Spark的核心抽象，所有操作均围绕RDD展开；

• 转换算子（如map、union、distinct、reduceByKey）：惰性执行，仅记录数据转换逻辑，不触发实际计算；

• 行动算子（如count、collect、saveAsTextFile）：触发底层计算，是Spark执行实际数据处理的触发点；

• 这种“惰性执行+按需计算”的设计，能有效减少中间数据的磁盘IO，提升整体处理效率。

  3. Spark对比MapReduce的核心优势

• 性能层面：Spark基于内存计算，避免了MapReduce中频繁的磁盘读写，相同任务处理速度提升数倍至数十倍；

• 开发层面：无需手动拆分Map和Reduce阶段，通过简洁的算子组合即可实现复杂逻辑，大幅降低代码量与开发难度；

• 灵活性层面：支持交互式编程、多语言开发（Scala/Java/Python等），适配更多开发场景与人员习惯。

  总结

  本次实验通过三个基础案例，全面掌握了Spark的核心基础操作：从文件系统数据读取到RDD转换与聚合计算，再到独立应用程序的打包与集群运行，完整覆盖了Spark初级开发的核心流程。Spark的高性能与易用性使其成为新一代大数据处理的主流引擎，而RDD的惰性执行、分布式计算特性是理解其核心原理的关键。
  后续可进一步深入学习Spark的高级特性，如DataFrame/Dataset结构化数据处理、Spark SQL类SQL查询、Spark Streaming实时数据处理等，结合具体业务场景构建更高效、更复杂的大数据处理解决方案。