来者可追

摘要： 共轭函数 1 基础知识 定义1（共轭函数） 设 \(f: \mathbb{E} \to [-\infty, \infty]\) 是一个扩展实值函数。函数 \(f^{*}: \mathbb{E}^{*} \to [-\infty, \infty]\) 定义为： \[f^{*}(y) = \max_{x 阅读全文

摘要： 优化问题中的最优性条件 一、基础知识：无约束优化的最优性条件 1. 费马最优性条件（Fermat's Optimality Condition） 定理1：设函数 \(f: \mathbb{E} \to (-\infty, \infty]\) 是一个适当的凸函数，那么 \(x^{*}\) 是 \(f( 阅读全文

摘要： 不动点迭代(Fixed-point iteration) (不动点) $x$为单值算子$\mathbb{T}$的不动点，如果$$\mathbb{T} x =x$$ 记$\text{Fix} \mathbb{T}=\{x|x=\mathbb{T}x\}=(\mathbb{I}-\mathbb{T})^ 阅读全文

摘要： 人生是用来体验的，不是用来演绎完美的，我慢慢接受自己的迟钝和平庸，允许自己出错，允许自己而尔断电，带着遗憾拼命绽放，这是与自己达成和解的唯一办法，希望大家能放下焦虑，和不完美的自己和解，然后去爱那个完整的自己。 阅读全文

摘要： 轻舟已过万重山，山外还有重重山。 阅读全文

摘要： 可微凸优化临近点梯度法 求解约束优化问题： \begin{align*} \mathop{min}\limits_{x} & \quad f(x)\\ s.t. & \quad x \in S \end{align*} 其中，$f$是可微凸函数，$S$是凸集合。这个问题等价于: \begin{ali 阅读全文

摘要： 罚函数法 求解约束优化问题： \begin{align*} \mathop{min}\limits_{x} & \quad f(x)\\ s.t. & \quad x \in S \end{align*}其中，$f$是连续函数。可以采用罚函数法将约束优化问题转变为无约束优化问题，具体方法是对目标函数 阅读全文

摘要： 次梯度算法： 梯度下降法的迭代格式为$$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 但是对于不可微的凸函数，梯度并不存在，于是使用此梯度算法： $$x_{k+1}=x_k-\alpha_k g_k)$$其中$g_k\in \partial f(x_k)$ 次梯度算法的收敛 阅读全文

摘要： 梯度下降法 对于无约束最优化问题：$$\mathop{min}_{x} f(x)$$其中$f$是可微函数,梯度下降法的更新方式如下: $$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 步长$\alpha_k$有多种选择方式，普通的梯度法就选择固定步长$\alpha$。 下面 阅读全文

摘要： 共轭方向法: Def1(共轭)：给定一个对称矩阵$Q$，如果向量$d_1,d_2$满足：$$d_1^\top Q d_2=0$$，则称$d_1,d_2$为$Q$正交，或关于$Q$共轭。 注：通常考虑$Q$是对称正定的；如果$Q=I$，则共轭$\iff$正交；如果非零向量组$\{d_0,d_1\dot 阅读全文