2025.1.19(寒假第十二天)

第十二天:Spark 环境配置与基础
学习目标:熟悉 Spark 环境,完成基本配置。
学习内容:
配置 Spark 和 Scala 环境。
启动 Spark Shell,测试环境是否正常运行。
学习如何在 Scala 中操作 RDD 和 DataFrame。

spark-shell
val data = sc.parallelize(Array(1, 2, 3, 4, 5))
data.collect()
val df = spark.read.json("path/to/jsonfile.json")
df.show()
实验总结:
成功配置 Spark 和 Scala 环境。
掌握了 RDD 和 DataFrame 的基本操作。

posted @ 2025-01-19 09:24  kuku睡  阅读(7)  评论(0)    收藏  举报