07 2018 档案

数值优化（十）
摘要：最小二乘方 在最小二乘方问题中，目标函数有如下的形式$$f(x)=\frac{1}{2} \sum_{j=1}^{m}r^2_j(x)$$针对这种特殊的形式，可以采取专门的方法来加速优化。计算其梯度以及Hessian得到$$\nabla f(x) = \sum_{j=1}^m r_j(x)\nabl 阅读全文
posted @ 2018-07-31 11:58 strA98 阅读(326) 评论(0) 推荐(0)
数值分析（八）
摘要：拟牛顿法 牛顿法具有不错的收敛性，但是每一次迭代需要计算此处的Hessian，这个计算代价是十分昂贵的，拟牛顿法就是用估计替代Hessian矩阵，使计算量大量减少。 DFP 假设现在已经来到了迭代点$x_{k+1}$,这个点建立一个二次模型$$m_{k+1}(p) = f_{k+1} + \nabl 阅读全文
posted @ 2018-07-29 23:12 strA98 阅读(252) 评论(0) 推荐(0)
数值优化（三）
摘要：线搜索方法 线搜索方法的基本过程都是在每一次迭代中先计算出一个优化方向$p_k$,再在这个方向上对目标函数做一维优化，即选取合适的$\alpha_k$,使$x_{k+1}=x_k+\alpha p_k$达到优化目的。一般来说，选取$p_k= B_k^{ 1}\nabla f_k$，其中$B_k$是一 阅读全文
posted @ 2018-07-28 18:58 strA98 阅读(693) 评论(2) 推荐(1)
数值优化（七）
摘要：计算导数 计算导数的方法有：符号导数，有限差分，自动微分等。本文只介绍有限差分和自动微分 有限差分 有限差分就是用有限步长下函数变化率来近似代替导数。 one side difference $$\frac{\partial f}{\partial x_i}(x) \approx \frac{f(x 阅读全文
posted @ 2018-07-27 17:55 strA98 阅读(230) 评论(0) 推荐(0)
数值优化（五）
摘要：共轭梯度方法 线性共轭梯度方法 线性共轭梯度方法可以用来解线性方程$$Ax=b$$其中A是正定的对称阵。这个问题等价于求解$$\Phi(x)=\frac{1}{2} x^TAx b^Tx$$的无约束优化问题。向量$\{p_0,p_1,\cdots,p_i\}$称作关于正定矩阵A相互共轭，当$$p_i 阅读全文
posted @ 2018-07-22 23:20 strA98 阅读(269) 评论(0) 推荐(0)
数值优化（四）
摘要：Trust Region Methods Trust Region Method(置信域方法)利用目标函数在迭代点的函数值与导数信息来建立一个二次型模型用来近似表示目标函数，而在距离迭代点多远的范围之内可以相信这个二次型模型，这个范围就是置信域。 二次型模型 在迭代点的二次型模型具体表示为$$m_k 阅读全文
posted @ 2018-07-16 16:52 strA98 阅读(910) 评论(0) 推荐(0)