南笙西瓜 - 博客园

2.20

摘要：分类模型实验与结果分析学习目标：完成分类模型实验并分析结果。学习如何评估分类模型的性能。学习内容：运行分类模型代码，观察预测结果。分析模型性能，评估分类效果。学习如何调整模型参数以提高性能。 import org.apache.spark.ml.evaluation.BinaryClassifica 阅读全文

posted @ 2025-02-01 17:26 南笙西瓜阅读(12) 评论(0) 推荐(0)

2.24

摘要：超参数调优基础学习目标：理解超参数调优的基本原理和应用场景。学习如何在 Spark MLlib 中使用 CrossValidator 进行超参数调优。学习内容：学习超参数调优的基本原理。使用 CrossValidator 确定最优的主成分数目和分类器参数。对 Test 数据集进行验证，评估调优后的模阅读全文

posted @ 2025-02-01 17:26 南笙西瓜阅读(13) 评论(0) 推荐(0)

2.11

摘要：第十一天：完成查重任务上学期大数据有一个期末作业在做一遍。实验目的：明确实验的目标和意义。实验内容：详细描述实验过程和代码实现。实验结果：展示实验的输出结果。实验总结：总结实验过程中的收获和不足. （一）编程实现文件合并和去重操作对于两个输入文件，即文件A和文件B，请编写MapReduce程序阅读全文

posted @ 2025-02-01 17:25 南笙西瓜阅读(11) 评论(0) 推荐(0)

2.12

摘要：第十二天：Spark 环境配置与基础学习目标：熟悉 Spark 环境，完成基本配置。学习内容：配置 Spark 和 Scala 环境。启动 Spark Shell，测试环境是否正常运行。学习如何在 Scala 中操作 RDD 和 DataFrame。 spark-shellval data = sc 阅读全文

posted @ 2025-02-01 17:25 南笙西瓜阅读(10) 评论(0) 推荐(0)

2，14

摘要：主成分分析（PCA）基础学习目标：理解 PCA 的原理和应用场景。学习如何在 Spark MLlib 中使用 PCA。学习内容：学习 PCA 的基本原理。使用 Spark MLlib 中的 PCA 对数据进行降维。设置主成分数目为 3，将特征向量投影到低维空间。学习如何可视化 PCA 结果。 imp 阅读全文

posted @ 2025-02-01 17:25 南笙西瓜阅读(11) 评论(0) 推荐(0)

2.5

摘要：第七天：计算级数实验学习任务学习如何通过脚本方式编写 Scala 程序。实现计算级数的程序，计算并输出级数的前 n 项之和 Sn，直到 Sn 大于等于输入的 q。学习内容脚本编写：使用 object 定义主程序。接收键盘输入。级数计算：使用循环和条件语句实现级数计算。代码示例 import scal 阅读全文

posted @ 2025-02-01 17:24 南笙西瓜阅读(22) 评论(0) 推荐(0)

2.6

摘要：第八天：模拟图形绘制实验学习任务学习如何定义抽象类和抽象方法。实现 Shape 抽象类，包含 moveTo 和 zoom 方法。实现 Line 类和 Circle 类，继承 Shape 并混入 Drawable 特质。重载 draw 方法，实现图形的绘制。学习内容抽象类和抽象方法：定义抽象类和抽象方阅读全文

posted @ 2025-02-01 17:24 南笙西瓜阅读(13) 评论(0) 推荐(0)

2.7

摘要：第九天：函数式编程基础学习任务学习函数式编程的基本概念，包括匿名函数、高阶函数和不可变数据。使用函数式编程方式处理数据，练习 map、filter 和 reduce 等方法。学习内容函数式编程基础：匿名函数：x => x * 2。高阶函数：map、filter、reduce。不可变数据：val 和不阅读全文

posted @ 2025-02-01 17:24 南笙西瓜阅读(19) 评论(0) 推荐(0)

2.8

摘要：第十天：学生成绩统计实验学习任务学习如何读取文件数据并解析为 Scala 数据结构。使用函数式编程方式统计学生成绩，包括平均值、最小值和最大值。按性别分组统计成绩。学习内容文件读取：使用 scala.io.Source 读取文件。数据解析：解析文件内容为 List 或 Array。成绩统计：使用函数阅读全文

posted @ 2025-02-01 17:24 南笙西瓜阅读(23) 评论(0) 推荐(0)

2.13

摘要：数据导入与预处理学习目标：掌握如何从文件中导入数据并转化为 DataFrame。学习如何处理数据集中的缺失值和类别型变量。学习内容：下载 Adult 数据集。使用 Scala 代码从文件中读取数据并转化为 DataFrame。处理数据集中的缺失值和类别型变量。学习如何使用 Spark SQL 对 D 阅读全文

posted @ 2025-02-01 17:24 南笙西瓜阅读(12) 评论(0) 推荐(0)

导航

2025年2月1日