happygril3

摘要： import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //glom的作用是将同一个分区里的元素合并到一个array里 object glomRDD { def main(args: Arra 阅读全文

摘要： 对比结果2与结果3，很容易得出结论：map函数后，RDD的值为 Array(Array("a","b"),Array("c","d"),Array("e","f"))flatMap函数处理后，RDD的值为 Array("a","b","c","d","e","f")即最终可以认为，flatMap会将 阅读全文

摘要： import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD //map(func) object rdd2 { def main(args: Array[String]): Unit = { // 阅读全文

摘要： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文

摘要： （1） （2） （3） （4） （5） （6）无法创建java文件 （7） （8） 阅读全文

摘要： apache-maven-3.6.3\conf\settings.xml <localRepository>E:/software/repository</localRepository> <mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>*</m 阅读全文

摘要： （1）Adaboost 最优的w 处理的粒度是更新参数w，使得损失函数L(y,f(x))最小 （2）GBDT 最优的函数F(X) 处理粒度是更新函数F(X)，使得损失函数L(y,F(X))最小。 GBDT分为两种： 都是迭代回归树 每棵树都在学习前N-1棵树尚存的不足 都是累加每颗树结果作为最终结果 阅读全文

摘要： 梯度下降算法是求解最优化问题 梯度下降是优化一个损失函数L(y,f(x))，处理的粒度是更新参数w，使得最后的损失函数最小 阅读全文

摘要： （1）决策树 1 决策树算法？ 2 什么是熵？ 信息熵公式 3 信息增益公式及意义？ 4 决策树处理连续值的方法 把连续值变量进行排序成（a1,a2,…an)再从(a1,a2)区间里取中位点A1作为分界来分裂数据，算信息增益率/基尼指数，从（a2,a3）区间里取中位点A2作为分界来分裂数据，算信息增 阅读全文

摘要： 分类与回归两种类型的问题 （1）主体思想：随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候投票决定测试样本的最终类别。 1. 随机选择样本 给定一个训练样本集，数量为N，我们使用有放回采样到N个样本，构成一个新的训练集。 2. 随机选择特征 总量为M的特征向量中，随机选择m个 阅读全文