spark实验七 SparkMLlib

1.数据导入
从文件中导入数据，并转化为 DataFrame。

2.进行主成分分析（PCA）
对 6 个连续型的数值型变量进行主成分分析。PCA（主成分分析）是通过正交变换把一
组相关变量的观测值转化成一组线性无关的变量值，即主成分的一种方法。PCA 通过使用
主成分把特征向量投影到低维空间，实现对特征向量的降维。请通过 setK()方法将主成分数
量设置为 3，把连续型的特征向量转化成一个 3 维的主成分。

val pca = new PCA().setInputCol("features").setOutputCol("pcaFeatures").setK(3).fit(df)
val result = pca.transform(df)
val testdata = pca.transform(test)
result.show(false)
testdata.show(false)

3.训练分类模型并预测居民收入
在主成分分析的基础上，采用逻辑斯蒂回归，或者决策树模型预测居民收入是否超过
50K；对 Test 数据集进行验证。

val labelIndexer = new 
StringIndexer().setInputCol("label").setOutputCol("indexedLabel").fit(result)
 labelIndexer.labels.foreach(println)
 val featureIndexer = new 
VectorIndexer().setInputCol("pcaFeatures").setOutputCol("indexedFeatures").fit(result)
 println(featureIndexer.numFeatures)
val labelConverter = new 
IndexToString().setInputCol("prediction").setOutputCol("predictedLabel").setLabels(labelIndexer.
labels)
val lr = new 
LogisticRegression().setLabelCol("indexedLabel").setFeaturesCol("indexedFeatures").setMaxIter(
100)
val lrPipeline = new Pipeline().setStages(Array(labelIndexer, featureIndexer, lr, 
labelConverter))
val lrPipelineModel = lrPipeline.fit(result)
val lrAccuracy = evaluator.evaluate(lrPredictions)
println("Test Error = " + (1.0 - lrAccuracy))

4.超参数调优
利用 CrossValidator 确定最优的参数，包括最优主成分 PCA 的维数、分类器自身的参数
等。

 val pca = new PCA().setInputCol("features").setOutputCol("pcaFeatures")

 val featureIndexer = new 
VectorIndexer().setInputCol("pcaFeatures").setOutputCol("indexedFeatures")
 val labelConverter = new 
IndexToString().setInputCol("prediction").setOutputCol("predictedLabel").setLabels(labelIndexer.l
abels)
 val lr = new 
LogisticRegression().setLabelCol("indexedLabel").setFeaturesCol("indexedFeatures").setMaxIter(1
00)
val lrPipeline = new Pipeline().setStages(Array(pca, labelIndexer, featureIndexer, lr, 
labelConverter))
val paramGrid = new ParamGridBuilder().addGrid(pca.k, 
Array(1,2,3,4,5,6)).addGrid(lr.elasticNetParam, Array(0.2,0.8)).addGrid(lr.regParam, Array(0.01, 
0.1, 0.5)).build()