摘要：次梯度算法： 梯度下降法的迭代格式为$$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 但是对于不可微的凸函数，梯度并不存在，于是使用此梯度算法： $$x_{k+1}=x_k-\alpha_k g_k)$$其中$g_k\in \partial f(x_k)$ 次梯度算法的收敛 阅读全文

摘要：梯度下降法 对于无约束最优化问题：$$\mathop{min}_{x} f(x)$$其中$f$是可微函数,梯度下降法的更新方式如下: $$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 步长$\alpha_k$有多种选择方式，普通的梯度法就选择固定步长$\alpha$。 下面 阅读全文

摘要：共轭方向法: Def1(共轭)：给定一个对称矩阵$Q$，如果向量$d_1,d_2$满足：$$d_1^\top Q d_2=0$$，则称$d_1,d_2$为$Q$正交，或关于$Q$共轭。 注：通常考虑$Q$是对称正定的；如果$Q=I$，则共轭$\iff$正交；如果非零向量组$\{d_0,d_1\dot 阅读全文