wangrui0429

摘要： RDD 的缓存与持久化学习目标：学习 RDD 的缓存机制。掌握 RDD 的持久化方法。理解不同存储级别的区别。学习内容：RDD 缓存机制：使用 cache 方法将 RDD 缓存到内存中。使用 persist 方法将 RDD 缓存到指定的存储级别。 // 创建 SparkContextval sc = 阅读全文

摘要： RDD 的分区与并行操作学习目标：理解 RDD 的分区机制。掌握 RDD 的并行操作。学习如何调整 RDD 的分区数。学习内容：RDD 分区机制：RDD 的分区数决定了数据的并行度。使用 parallelize 方法时可以指定分区数。使用 repartition 方法可以调整 RDD 的分区数。 / 阅读全文

摘要： RDD 的基本操作学习目标：掌握 RDD 的基本转换操作。掌握 RDD 的基本行动操作。理解 RDD 的懒加载机制。学习内容：RDD 转换操作：map：对 RDD 中的每个元素应用函数。filter：过滤 RDD 中的元素。flatMap：对 RDD 中的每个元素应用函数，并将结果展平。groupB 阅读全文

摘要： RDD 基础概念与环境配置 理解 RDD 的基本概念和特性。熟悉 RDD 的创建方法。完成 Spark 环境的配置和测试。 RDD 理论知识：RDD 的定义：RDD 是 Spark 的核心数据结构，是一个分布式的数据集合，具有不可变性、分区性和容错性。RDD 的特性：弹性、分布式、不可变、懒加载、分 阅读全文

摘要： RDD 转换为 DataFrame学习记录：学习实验题目中的“编程实现将 RDD 转换为 DataFrame”部分。将 employee.txt 文件中的数据加载为 RDD。 // 创建 SparkSessionval spark = SparkSession.builder() .appName( 阅读全文

摘要： Spark SQL 基本操作学习记录：学习实验题目中的“Spark SQL 基本操作”部分。将 JSON 数据保存为 employee.json 文件，并加载到 Spark SQL 中。 // 创建 SparkSessionval spark = SparkSession.builder() .ap 阅读全文

摘要： 超参数调优基础学习目标：理解超参数调优的基本原理和应用场景。学习如何在 Spark MLlib 中使用 CrossValidator 进行超参数调优。学习内容：学习超参数调优的基本原理。使用 CrossValidator 确定最优的主成分数目和分类器参数。对 Test 数据集进行验证，评估调优后的模 阅读全文

摘要： 分类模型实验与结果分析学习目标：完成分类模型实验并分析结果。学习如何评估分类模型的性能。学习内容：运行分类模型代码，观察预测结果。分析模型性能，评估分类效果。学习如何调整模型参数以提高性能。 import org.apache.spark.ml.evaluation.BinaryClassifica 阅读全文

摘要： 分类模型基础学习目标：理解分类模型的基本原理和应用场景。学习如何在 Spark MLlib 中使用逻辑斯蒂回归和决策树模型。学习内容：学习逻辑斯蒂回归和决策树的基本原理。使用降维后的数据训练逻辑斯蒂回归模型。对 Test 数据集进行预测，评估模型性能。 import org.apache.spark 阅读全文

摘要： 主成分分析（PCA）基础学习目标：理解 PCA 的原理和应用场景。学习如何在 Spark MLlib 中使用 PCA。学习内容：学习 PCA 的基本原理。使用 Spark MLlib 中的 PCA 对数据进行降维。设置主成分数目为 3，将特征向量投影到低维空间。学习如何可视化 PCA 结果。 imp 阅读全文