随笔分类 - 数学优化
摘要：黎曼流形与黎曼梯度 黎曼流形(Riemannian manifolds) 定义 切空间 \(\mathrm{T}_x \mathcal{M}\) 上的内积是一个双线性、对称、正定的函数 \(\langle \cdot, \cdot \rangle_x: \mathrm{T}_x \mathcal{M
阅读全文
摘要：切空间、切丛与收缩算子 切空间 一般流形上的切空间的定义相对比较抽象，流形优化一般只考虑有限维线性空间上的流形，此时的切空间定义简单一些。一般的情况可以类似的推广，这里不去讨论。 定义 设 \(\mathcal{M}\) 是 \(\mathcal{E}\) 的一个子集。对于所有 \(x \in \m
阅读全文
摘要：嵌入子流形 嵌入子流形的定义 由于在流形优化中，一般考虑在有限维线性空间上的流形，因此如未加特殊申明，以下所考虑的流形都是指有限维线性空间 \(\mathbb{R}^n\) 的流形，且是光滑流形。 这一节考虑嵌入子流形，这里嵌入子流形比子流形要求更高，它不仅是子流形，而且需要子流形上的拓扑结构是继承
阅读全文
摘要：拓扑空间与微分流形基础概念 拓扑空间 定义（拓扑空间） 设 \(M\) 是一个非空集合，其子集组成的集合 \(\mathrm{T} = \{ U_{\alpha} \subset M \mid \alpha \in \mathrm{A} \}\)。若 \(\mathrm{T}\) 满足以下条件，则称
阅读全文
摘要：共轭函数 1 基础知识 定义1（共轭函数） 设 \(f: \mathbb{E} \to [-\infty, \infty]\) 是一个扩展实值函数。函数 \(f^{*}: \mathbb{E}^{*} \to [-\infty, \infty]\) 定义为： \[f^{*}(y) = \max_{x
阅读全文
摘要：优化问题中的最优性条件 一、基础知识：无约束优化的最优性条件 1. 费马最优性条件（Fermat's Optimality Condition） 定理1：设函数 \(f: \mathbb{E} \to (-\infty, \infty]\) 是一个适当的凸函数，那么 \(x^{*}\) 是 \(f(
阅读全文
摘要：不动点迭代(Fixed-point iteration) (不动点) $x$为单值算子$\mathbb{T}$的不动点，如果$$\mathbb{T} x =x$$ 记$\text{Fix} \mathbb{T}=\{x|x=\mathbb{T}x\}=(\mathbb{I}-\mathbb{T})^
阅读全文
摘要：可微凸优化临近点梯度法 求解约束优化问题： \begin{align*} \mathop{min}\limits_{x} & \quad f(x)\\ s.t. & \quad x \in S \end{align*} 其中，$f$是可微凸函数，$S$是凸集合。这个问题等价于: \begin{ali
阅读全文
摘要：罚函数法 求解约束优化问题： \begin{align*} \mathop{min}\limits_{x} & \quad f(x)\\ s.t. & \quad x \in S \end{align*}其中，$f$是连续函数。可以采用罚函数法将约束优化问题转变为无约束优化问题，具体方法是对目标函数
阅读全文
摘要：次梯度算法： 梯度下降法的迭代格式为$$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 但是对于不可微的凸函数，梯度并不存在，于是使用此梯度算法： $$x_{k+1}=x_k-\alpha_k g_k)$$其中$g_k\in \partial f(x_k)$ 次梯度算法的收敛
阅读全文
摘要：梯度下降法 对于无约束最优化问题：$$\mathop{min}_{x} f(x)$$其中$f$是可微函数,梯度下降法的更新方式如下: $$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 步长$\alpha_k$有多种选择方式，普通的梯度法就选择固定步长$\alpha$。 下面
阅读全文
摘要：共轭方向法: Def1(共轭)：给定一个对称矩阵$Q$，如果向量$d_1,d_2$满足：$$d_1^\top Q d_2=0$$，则称$d_1,d_2$为$Q$正交，或关于$Q$共轭。 注：通常考虑$Q$是对称正定的；如果$Q=I$，则共轭$\iff$正交；如果非零向量组$\{d_0,d_1\dot
阅读全文
摘要：1 import numpy as np 2 import matplotlib.pyplot as plt 3 plt.rcParams['font.sans-serif']=['Microsoft YaHei'] 4 5 def f(y): #目标函数 6 f_x=y[0]**2+10*y[1]
阅读全文
摘要：经典牛顿法： 首先，设$f(x)$二阶连续可微，则在迭代算法中第$k$步，$x_k$处泰勒展开： $$f(x_k+d_k)=f(x_k)+\nabla f(x_k)^Td_k+\frac{1}{2}(d_k)^T\nabla^2f(x_k)d_k+o(\Vert d_k \Vert^2)$$ 如果忽
阅读全文
摘要：1 clear;clc; 2 %% 牛顿法 3 f=@(x)x^4-4*x^2+4;%函数 4 df=@(x)4*x^3-8*x;%一阶导数 5 ddf=@(x)12*x^2-8;%二阶导数 6 N=1000;%最大迭代次数 7 x=zeros(N,1);%储存迭代点 8 x(1)=log(8);%
阅读全文
摘要：定义1(回收方向)：给定非空凸集$C$，如果向量$d$满足$x+\alpha d \in C(\forall x\in C,\forall \alpha \geq 0)$，则称$d$为$C$的一个回收方向。换句话说，从$C$中一个点沿着回收方向出发，永远不会跑到$C$外面。 定义2(回收锥)：非空凸
阅读全文
摘要：分离平面定理是凸分析和凸优化中一个重要的基础定理 **定义1(分离平面):** 假设$S_1,S_2 \subset E^n$,假设存在一个超平面$H=\{x:p^Tx=\alpha\}$,且使得： $$ \begin{cases} p^Tx \geq(>) \alpha , &\text{ $\f
阅读全文
摘要：BFGS算法矩阵$ B_k $的迭代公式为： $$B_{k+1}=B_k+\frac{y_ky_k^T}{y_k^Ts_k}-\frac{B_ks_ks_k^TB_k}{s_k^TB_ks_k}$$ Sherman-Morrison公式为： 假设 A 是 n 阶可逆矩阵， t 为常量，u,v 是 n
阅读全文
摘要：BB方法 ，即Barzilai-Borwein (BB) method 是梯度下降方法的一种，他主要是通过近似牛顿方法来实现更快的收敛速度，同时避免计算二阶导数带来的计算复杂度： 经典牛顿法: 首先，设$f(x)$二阶连续可微，则在迭代算法中第$k$步，$x_k$处泰勒展开：$$f(x_k+d_k)
阅读全文
摘要：康托洛维奇不等式是数值优化中收敛性分析的一个常用工具： 康托洛维奇不等式:设$Q$为正定对称阵，$x \in \mathbb{R}^n$,则有 $$\frac{(x^Tx)^2}{(x^TQx)(x^TQ^{-1}x)}\geq\frac{4aA}{(a+A)^2}$$ 其中$a,A$分别为$Q$的
阅读全文
浙公网安备 33010602011771号