2020年9月21日

partitionBy
摘要： import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object kvRDD { def main(args: Array[String]): Unit = { val conf: Spa 阅读全文
posted @ 2020-09-21 18:58 happygril3 阅读(320) 评论(0) 推荐(0)
交并集合
摘要： import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object UnionRDD { def main(args: Array[String]): Unit = { val conf: 阅读全文
posted @ 2020-09-21 17:55 happygril3 阅读(59) 评论(0) 推荐(0)
Sortby
摘要： 行动算子 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object sortByRDD { def main(args: Array[String]): Unit = { val 阅读全文
posted @ 2020-09-21 17:54 happygril3 阅读(229) 评论(0) 推荐(0)
zip
摘要： import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object zipRDD { def main(args: Array[String]): Unit = { val conf: Sp 阅读全文
posted @ 2020-09-21 17:18 happygril3 阅读(188) 评论(0) 推荐(0)
神经网络
摘要： 可以将Logistic Regression看做是仅含有一层神经元的单层的神经网络。 1.简化的两层神经网络分析 1.2.从输入层到隐藏层 连接输入层和隐藏层的是W1和b1。由X计算得到H十分简单，就是矩阵运算： （1*50）=（1*2）*（2*50）+（1*50） 在设定隐藏层为50维（也可以理解 阅读全文
posted @ 2020-09-21 15:04 happygril3 阅读(226) 评论(0) 推荐(0)
逻辑回归
摘要： 逻辑回归假设因变量 y 服从伯努利分布， 线性回归假设因变量 y 服从高斯分布。 对线性回归的结果做一个在函数g上的转换，可以变化为逻辑回归。这个函数g在逻辑回归中我们一般取为sigmoid函数，形式如下： 即当z趋于正无穷时，g(z)趋于1，而当z趋于负无穷时，g(z)趋于0，这非常适合于我们的分 阅读全文
posted @ 2020-09-21 14:35 happygril3 阅读(170) 评论(0) 推荐(0)
正则
摘要： 正则化的目的是限制参数过多或者过大，避免模型更加复杂，容易发生过拟合。因此需要在目标函数添加一些额外的惩罚项，即正则项。 添加惩罚项可看成是对损失函数中的某些参数做一些限制，根据惩罚项的不同可分为：L0范数惩罚、L1范数惩罚（参数稀疏性惩罚）、L2范数惩罚（权重衰减惩罚）。 L0范数惩罚：将其高阶部 阅读全文
posted @ 2020-09-21 14:10 happygril3 阅读(314) 评论(0) 推荐(0)

导航