2025.1.24（寒假第十七天）

超参数调优基础
学习目标：
理解超参数调优的基本原理和应用场景。
学习如何在 Spark MLlib 中使用 CrossValidator 进行超参数调优。
学习内容：
学习超参数调优的基本原理。
使用 CrossValidator 确定最优的主成分数目和分类器参数。
对 Test 数据集进行验证，评估调优后的模型性能。

import org.apache.spark.ml.tuning.{CrossValidator, ParamGridBuilder}

// 定义参数网格
val paramGrid = new ParamGridBuilder()
.addGrid(pca.setK, Array(2, 3, 4))
.addGrid(lr.setMaxIter, Array(10, 20, 30))
.build()

// 定义交叉验证器
val crossval = new CrossValidator()
.setEstimator(pipeline)
.setEvaluator(evaluator)
.setEstimatorParamMaps(paramGrid)
.setNumFolds(3)

// 运行交叉验证
val cvModel = crossval.fit(trainingData)
实验总结：
理解了超参数调优的基本原理和应用场景。
掌握了如何使用 CrossValidator 进行超参数调优。
学会了如何对 Test 数据集进行验证。