摘要： 共轭方向法是介于最速下降法和牛顿法之间的一个方法。最速下降法只使用一阶导数信息且方法简单， 单收敛慢。 牛顿法收敛快且为二阶收敛， 但计算量大。共轭方向法仅用一阶导数信息， 因此计算量比牛顿法小， 同时收敛速度比最速下降法快。 它的基本思想是在求$n$维正定二次目标函数极小点时产生一组共轭方向作为搜 阅读全文

摘要： 为了发挥牛顿法的优势， 人们提出了许多修正牛顿法。 1.阻尼牛顿法 典型的改进是在基本牛顿法中加入线搜索技术， 及求步长$\alpha_k$, 使得 $f(x_k+\alpha_kd_k)=min_{\alpha>=0}f(x_k+\alpha d_k)$ 且令 $x_{k+1}=x_{k}+\al 阅读全文

摘要： 牛顿法与最速下降法一样是解无约束最优化问题的最早使用算法， 它的基本思想是用迭代点的梯度和二阶导数对目标函数进行二次函数逼近， 然后把二次函数的极小点作为新的迭代点， 并不断重复这一过程， 直至求出极小点。 设$f(x)$的二阶导数$\round^2f(x)$连续， 它在$x_k$的泰勒展开式前三项 阅读全文

摘要： step 1 选初值。 给定误差$\epsion$和初始点$x_0$, 令$k=0$ step 2 检验终止条件。 计算$d_k=-g_k$, 若$||g_k||<=\epsion$, 则$x^*=x_k$, 停止迭代 step 3 确定步长$\alph_k$, 求$\alph_k$使得 $f(x_ 阅读全文

摘要： 用数学语言来说， 最优化就是求一个函数在给定集合上的极值。 几乎所有类型的优化问题都可以形成如下的数学模型：给定一个集合$X$和该集合上定义的实值函数$f(x)$, 求函数在可行集上的最小值 $min f(x)$ s.t $x \in X$ 其中$x$称为决策变量。一般人们按照可行集的性质对优化问题 阅读全文