摘要：梯度下降法的作用是求到一种方案，使得拟合过程中的损失函数最小(结果可能只为局部最优值)，除此之外还有最小二乘法等方法。 关于此方法详细的阐述参见->这里 梯度下降法初始点的选取分为随机选取初值和自动求取初值两种方法。 梯度下降法有两种具体的实现方法： 1.批量梯度下降法：每次向梯度的反方向移动(梯度 阅读全文

摘要：正则化的作用是防止过拟合，控制拟合曲线的平滑程度，增强拟合曲线的泛化能力(预测新样本的能力)。 正则化参数越大拟合曲线越平滑，越小拟合曲线次数越高，越弯曲。 已有对正则化阐述得比较清晰的博文，在此不再详细阐述，具体参见->这里 然而上面这篇文章中并没有说明正则化参数如何选取，正则化参数的选取直接决定 阅读全文

摘要：分类和回归的区别在于输出变量的类型。 定量输出称为回归，或者说是连续变量预测； 定性输出称为分类，或者说是离散变量预测。 举个例子： 预测明天的气温是多少度，这是一个回归任务； 预测明天是阴、晴还是雨，就是一个分类任务。 阅读全文

摘要：1.Logistic函数 在维基百科中，对logistic函数这样介绍道： A logistic function or logistic curve is a common "S" shape (sigmoid curve), with equation: $$f(x)=\frac{L}{1+e^ 阅读全文