西西嘛呦

摘要： 弹性网回归是lasso回归和岭回归的结合，其代价函数为： 若令，则 由此可知，弹性网的惩罚系数恰好为岭回归罚函数和Lasso罚函数的一个凸线性组合．当α=0时，弹性网回归即为岭回归；当 α=1时，弹性网回归即为Lasso回归．因此，弹性网回归兼有Lasso回归和岭回归的优点，既能达到变量选择的目的， 阅读全文

摘要： 岭回归与多项式回归的最大区别就是损失函数上的区别。岭回归的代价函数如下： 为了方便计算导数，通常也会写成以下形式： 上述式子中w为长度为n的向量，不包括偏置项的系数 θ0，θ是长度为n+1的向量，包括偏置项系数θ0；m为样本数，n为特征数。 岭回归的代价函数仍然是凸函数，因此可以利用梯度等于0的方式 阅读全文