2025.2.15（寒假第二十五天）

RDD 与 Spark Streaming 的结合使用
学习目标：
学习如何使用 RDD 处理实时数据流。
掌握 Spark Streaming 的基本概念。
使用 Spark Streaming 创建一个简单的实时数据处理程序。
学习内容：
Spark Streaming 基本概念：
Spark Streaming 是 Spark 的流处理组件，用于处理实时数据流。
Spark Streaming 将实时数据流分成小的时间段（如几秒或几分钟），然后使用 RDD 进行处理。
创建 Spark Streaming 应用：
创建一个 Spark Streaming 应用，从 socket 流中读取数据。
使用 RDD 对数据进行处理。

// 创建 SparkConf 和 StreamingContext
val conf = new SparkConf().setAppName("Spark Streaming with RDD")
val ssc = new StreamingContext(conf, Seconds(5))

// 创建一个 socket 流
val lines = ssc.socketTextStream("localhost", 9999)

// 将流数据转换为 RDD 并进行处理
lines.flatMap(_.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).foreachRDD(rdd => {
rdd.collect().foreach(println)
})

// 启动 StreamingContext
ssc.start()
ssc.awaitTermination()

// 停止 StreamingContext
ssc.stop()
实验总结：
掌握 Spark Streaming 的基本概念和使用方法。
学会使用 RDD 处理实时数据流。
理解 Spark Streaming 的工作原理，以及如何将实时数据流分成小的时间段进行处理。