Aaron12

摘要： 梯度下降法 梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。梯度下降法的搜索迭代示意图如下图所示： 梯度下降法的缺点： （1）靠近极小值时收敛速度减慢，如下图所示； （2）直线搜索时 阅读全文

摘要： 梯度下降（GD） 梯度的本意是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，导数对应的是变化率 即函数在该点处沿着该方向变化最快，变化率最大（为该梯度的模） 随机梯度下降（SGD）：每次迭代随机使用一组样本 针对BGD算法训练速度过慢的缺点，提出了SGD算法，普通的BGD算法是每次迭 阅读全文

摘要： 集成学习： 通过构建多个分类器来完成学习任务，将多个分类器组合，会获得比单一分类器，更好的泛化能力。 集成学习有两类 Boosting 和Bagging Boosting：个体分类器之间存在强依赖关系，必须串行生成的序列化方法 Bagging：个体分类器之间不存在依赖关系，可以同时生成的并行方法 B 阅读全文