摘要：梯度下降代码：function [ theta, J_history ] = GradinentDecent( X, y, theta, alpha, num_iter )m = length(y);J_history = zeros(20, 1);i = 0;temp = 0;for iter = 1:num_iter temp = temp +1; theta = theta ... 阅读全文

摘要：参考链接：https://zhuanlan.zhihu.com/p/36435504 阅读全文

摘要：一、软阈值算法及推导：二、近端投影与近端梯度下降以上推导是结合很多大佬博客整理的，如有侵权，请及时联系，将对其进行修改。 阅读全文

摘要：L1和L2在不同领域的不同叫法机器学习领域：正则化项统计学领域：惩罚项数学领域：范数Lasso和Ridge回归在Lasso回归中正则化项是用的L1，L1是绝对值距离也叫做哈曼顿距离。Lasso回归可以压缩一些系数，把一些系数变为0，是一种处理具有复共线性数据的有偏估计。在Ridge回归中正则化项是用的L2，L2是平方距离也叫做欧式距离。是一种专门应用于共线性数据的回归方法。对于L1和L2都有一个公... 阅读全文