做梦当财神

摘要： 求解机器学习算法的模型参数，即无约束优化问题，常用两种方法：梯度下降，最小二乘法。此外还有牛顿法和拟牛顿法。 1. 梯度 对多元函数参数求偏导，把求得的偏导写成向量形式。比如：f(x,y)对x，y求偏导，梯度就是(∂f/∂x, ∂f/∂y)T。 2. 梯度下降法详解 梯度下降法有代数法和矩阵法两种表 阅读全文