摘要：在讲完最小二乘（linear regression）和K近邻后，进入本节。引入符号：$X\in R^p$ X为维度为p的输入向量$Y\in R$ Y为输出，实数$P(X,Y)$ 为两者的联合概率分布$f(X)$ 为预测函数，给定X，输出Ya.使用squared error loss(L2)作为损失函... 阅读全文

摘要：课程主要实用内容：1.spark实验环境的搭建2.4个lab的内容3.常用函数4.变量共享1.spark实验环境的搭建(windows)a. 下载，安装visualbox 管理员身份运行;课程要求最新版4.3.28，如果c中遇到虚拟机打不开的，可以用4.2.12，不影响b. 下载，安装vagrant... 阅读全文

摘要：该函数官方的api，说的不是很明白：aggregate(zeroValue, seqOp, combOp)Aggregate the elements of each partition, and then the results for all the partitions, using a given combine functions and a neutral “zero value.”T... 阅读全文

摘要：本文为《Kernel Logistic Regression and the Import Vector Machine》的阅读笔记是技法课的课外阅读Abstract:基于KLR kernel logistic regression，能自然延伸到多分类问题提供属于各类的概率也有类似support v... 阅读全文

摘要：import random as rdimport mathclass LogisticRegressionPySpark: def __init__(self,MaxItr=100,eps=0.01,c=0.1): self.max_itr = MaxItr se... 阅读全文