摘要：方程求根方法 0.不动点迭代法 \(一般我们求解的方程是\) \(f(x)=0\) \(可以等价的改写为\) \(x=\phi(x)\) \(若x^*满足f(x^*)=0,则亦满足x^*=\phi(x^*)，则称x^*是函数\phi(x)的一个不动点\) \(求f(x)的零点等价于求\phi(x)的 阅读全文

摘要：Hesse矩阵和Jacobi矩阵 注意Hesse矩阵计算过程中目标变量是一元实值，自变量是向量，经过一阶导后变成目标变量为函数矩阵，自变量为向量函数，然后函数矩阵对向量求导，见书上定义 1.3.2 $$\nabla2f(x)=\begin{pmatrix} \frac{\partial2f(x)}{ 阅读全文

摘要：1.拟牛顿法思想 考虑$f(x)$在当前是$x^k$处的二次函数 \(m_k(x):=f(x^k)+\nabla f(x^k)^T(x-x^k)+\frac{1}{2}(x-x^k)^TB_k(x-x^k)\) 其中$B_k\succ 0$ 利用min $m_k(x)$得方向,\(d^k=-B_k^ 阅读全文

摘要：崔雪婷 最优化基础理论与方法 3.2章节 1.目标 无约束优化问题 \(min\ f(x),x\in R^n\) 其中$f(x)$是二阶可微的 2.牛顿法的思想 设$x^$是局部解，则$x^$满足 \(\nabla f(x)=0\) 选取初始点$x1$,在$x1$出按照泰勒展开，取二次近似多项式 \ 阅读全文

摘要：约束问题形式 \(P问题\) $\begin{cases} min\ f(x) g_i(x)\le 0,i=1,...,m\ h_i(x)=0,i=1,...,l\ \end{cases},x\in R^n$ 约束问题局部解的一阶必要条件-KKT条件 \(若约束问题满足如下条件\) \(1.f(x) 阅读全文