有点锋芒

摘要： 牛顿法存在的问题 计算量大，每次都需要计算HESSE矩阵，对于自变量维数较高的优化函数，计算量是相当大的； HESSE矩阵可能存在不正定的问题，此时求得的迭代方向可能不是下降方向； 为了解决上述问题，需要求HESSE矩阵近似矩阵$B$ 算法分析 将函数在$x_{k+1}$处二阶展开： \(f(x)= 阅读全文

摘要： 特点：具有超线性收敛速度，只需要计算梯度，避免计算二阶导数 算法步骤 \(step0:\) 给定初始值$x_0$,容许误差$\epsilon$ \(step1:\) 计算梯度$g_k=\nabla f(x_k)$,if \(norm(g_k)<=\epsilon\)， \(break;\) 输出当前 阅读全文

摘要： 牛顿算法 对于优化函数$f(x)$,\(x=(x_1;x_2;...;x_n)\),二阶连续可导 在$x_k$处泰勒展开，取前三项，即对于优化函数二阶拟合 \(f(x)=f(x_k)+g_k(x-x_k)+\frac{1}{2}(x-x_k)G_k(x-x_k)\) 其中$g_k=\nabla f( 阅读全文

摘要： 矩阵正定 对于实对称矩阵$M_{n\times n}$正定<=>非任意零实系数向量z，\(z^TMz\)>0 对于埃尔米特矩阵（复数共轭对称矩阵）$M_{n\times n}$正定<=>对于任意非零复数向量z，\(z^*Mz>0\) 等价条件 矩阵$M$的所有特征值都是正的； 顺序主子式大于零 矩阵 阅读全文

摘要： 关于最优化算法的框架见 最优化算法确定迭代步长【线搜索技术】 迭代公式$x_{k+1}=x_k+\alpha_kd_k$ 其中$\alpha_k$为第k次迭代步长，$d_k$为第k次迭代方向； 变步长梯度下降法就是每次迭代，步长都需要计算 定步长梯度下降发每次步长都为定值；算法见 最优化算法【最小二 阅读全文

摘要： 无约束问题最优化算法框架 \(step0:\) 输入优化函数，确定迭代起始点x0,容许误差 epsilon； \(step1:\) if 容许误差条件满足，终止迭代；输出当前x值； else 计算迭代方向dk；迭代步长 alpha_k; // dk必须满足收敛条件；关于迭代步长的计算，就是线搜索技术 阅读全文

摘要： 使用条件 优化函数在搜索区间内为单峰函数 算法 算法类似于二分查找算法，能够求单峰函数在搜索区间的极值 算法如下： \(step0:\) $\qquad$确定单峰函数$f(x)\(的搜索区间\)[a_0,b_0]\(；容错误差\)\delta=a-b$, \(\epsilon=f(b)-f(a)\) 阅读全文

摘要： 一、雅可比（Jacobi）矩阵 对于函数 \(y=f(x)\) 其中，\(x=(x_1;x_2,...;x_n)\),\(y=(y_1;y_2;...;y_m)\) 则Jacobi矩阵为： \[ J= \begin{pmatrix} \frac{\partial y_1}{\partial x_1} 阅读全文

摘要： 一、牛顿法 对于优化函数$f(x)$，在$x_0$处泰勒展开， \(f(x)=f(x_0)+f^{'}(x_0)(x-x_0)+o(\Delta x)\) 去其线性部分，忽略高阶无穷小，令$f(x) = 0$得： \(x=x_0-\frac{f(x_0)}{f^{'}(x_0)}\) 得牛顿法迭代公 阅读全文

摘要： ##一、最小二乘法 对于给定的数据集$D = {(x_1,y_1),(x_2,y_2), ...,(x_m,y_m)}$，其中$x_i=(x_;x_; ...;x_)$。 对上述数据进行拟合： \(f(x_i)= \hat \omega^T \hat{x_i}\) 其中：\(\hat\omega = 阅读全文