凸函数convex function

凸函数 convex function

凸函数定义:

理解为如果一个函数f(x),找到任意两个函数点之间的连线,如果有:这条连线上所有的点x均大于等于函数f(x),那么此时这个函数为凸函数;如果该点全部小于函数值,那么为凹函数concave function;如果该点完全等于f(x),那么f(x)就是仿射的(二维观察,那么就是一条直线,因为可能不仅仅在二维三维低维度,所以使用上述:满足凹凸函数的严谨的表达)

例如对数函数,power函数在幂大于1或者小于0时(x的a次方幂),绝对值,负熵xlogx在第一象限,就是凸函数。

logx在正半轴,power函数在幂大于0小于1时(x的a次方幂)为凹函数。

\[f(\theta\mathbf{x}+(1-\theta)\mathbf{y})\leq\theta f(\mathbf{x})+(1-\theta)f(\mathbf{y}) \]

对于上述定义,就能证明例如绝对值为凸函数,因为存在如下关系:

\[|\theta x+(1-\theta)y|\leq\theta|x|+(1-\theta)|y| \]

|a+b|一定小于等于|a|+|b|,如果系数k大于0,那么|Ka|一定小于等于K|a|,三角不等式转换后就能直接证明绝对值就是凸函数。


如果我们将上述二维点变成一个多维变量(矩阵)呢?

tr表示取矩阵的对角,值得注意的是maximum singular value中的最大特征值:

\[\sigma_{\max}=\sqrt{\lambda_{\max}(\mathbf{X}^T\mathbf{X})},||\mathbf{X}||_2=\sigma_{\max}\text{(最大奇异值)} \]

此外就是“扩展值延拓”(Extended-Value Extensions),核心思想:为了让数学公式写起来更简单,我们人为地规定“在定义域之外,函数的值为无穷大,这样就能无视x小于0的情况方便书写。


凸函数的条件

学了这么多定义,现在需要系统的判断函数是否为凸函数,我们可以使用这种方式进行判定(根据定义有的时候判断不出来)

一阶条件:

一句话就能概括:如果一个函数是凸的,那么它在任意一点的切线(或切平面),永远都在函数图像的下方(或刚好贴着)。

公式:

\[f(\mathbf{y})\geq f(\mathbf{x})+(\nabla f(\mathbf{x}))^T(\mathbf{y}-\mathbf{x}) \]

这个公式非常简单,点y的函数值一定大于或者等于 x点 加上 x点到y点的距离乘以切线方向;

\[\begin{aligned}&\nabla f(\mathbf{x})\text{:这是函数在 }\mathbf{x}\text{ 处的梯度(Gradient)。在一维里它是斜率,在多维里它是指向函数增长最快方}\\&\text{向的向量。它决定了切线的“倾斜程度”。}\end{aligned} \]

想象一下,在x点画一条切线,如果是凸函数,(例如抛物线区域)那么这条切线肯定是处于y点下方或者经过y点。

二阶条件:

$$ \left[\bigtriangledown^{2}f(\mathbf{x})\right]_{k,l}=\frac{\partial f^{2}(\mathbf{x})}{\partial x_{k}\partial x_{l}},k,l=1,\cdots,n, $$

\[\begin{aligned}&\text{设函数 }f(\mathbf{x})\text{ 的自变量为 }n\text{ 维向量 }\mathbf{x}=[x_1,x_2,\cdots,x_n]^T\text{,黑塞矩阵 }\nabla^2f(\mathbf{x})\text{ 是一个 }n\times n\text{ 方}\\&\text{阵:}\end{aligned} \]

\[\nabla^2f(\mathbf{x})=\begin{bmatrix}\frac{\partial^2f}{\partial x_1^2}&\frac{\partial^2f}{\partial x_1\partial x_2}&\cdots&\frac{\partial^2f}{\partial x_1\partial x_n}\\\frac{\partial^2f}{\partial x_2\partial x_1}&\frac{\partial^2f}{\partial x_2^2}&\cdots&\frac{\partial^2f}{\partial x_2\partial x_n}\\\vdots&\vdots&\ddots&\vdots\\\frac{\partial^2f}{\partial x_n\partial x_1}&\frac{\partial^2f}{\partial x_n\partial x_2}&\cdots&\frac{\partial^2f}{\partial x_n^2}\end{bmatrix} \]

核心条件:f(x)输入是n维向量x,输出是一个实数,并且可以求出二阶导数,构建hessian matric(并且该矩阵是半正定的),半正定又能说明该矩阵是对称矩阵,左下和右上的区域相同:

\[\nabla^2f(\mathbf{x})\succeq0\quad\text{(半正定)},\frac{\partial^2f}{\partial x_k\partial x_l}=\frac{\partial^2f}{\partial x_l\partial x_k}\mathrm{。} \]

examples:


上述公式的证明过程如下:

\[\nabla\mathbf{a}^T\mathbf{x}=\mathbf{a},f(\mathbf{x})=\mathbf{a}^T\mathbf{x}=a_1x_1+a_2x_2+\cdots+a_nx_n \]

在对于x进行求导后,就只剩下了a的分量a1....an。点积满足乘法交换律。

\[\nabla\mathbf{x}^T\mathbf{A}\mathbf{x}=(\mathbf{A}+\mathbf{A}^T)\mathbf{x} \]

\[\text{设 }\mathbf{x}=\begin{bmatrix}x_1\\x_2\end{bmatrix}\text{,矩阵 }\mathbf{A}=\begin{bmatrix}a&b\\c&d\end{bmatrix}\text{。(注意:这里不假设 }A\text{ 对称,因为公式里出现了 }A^T) \]

\[\begin{aligned}&\mathbf{Ax}=\begin{bmatrix}ax_1+bx_2\\cx_1+dx_2\end{bmatrix}\\&\text{然后左乘 }\mathbf{x}^T=[x_1,x_2]\end{aligned} \]

\[f(\mathbf{x})=ax_1^2+(b+c)x_1x_2+dx_2^2 \]

\[\text{对 }x_1\text{ 求偏导:}\frac{\partial f}{\partial x_1}=2ax_1+(b+c)x_2,\text{对 }x_2\text{ 求偏导:}\frac{\partial f}{\partial x_2}=(b+c)x_1+2dx_2 \]

\[\begin{bmatrix}2ax_1+(b+c)x_2\\(b+c)x_1+2dx_2\end{bmatrix}=\begin{bmatrix}2a&b+c\\b+c&2d\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix},\mathbf{A}+\mathbf{A}^T=\begin{bmatrix}2a&b+c\\c+b&2d\end{bmatrix}证毕。 \]

所以上述的通用表达式可以简化为:

\[\bigtriangledown f(\mathbf{x})=\frac{1}{2}(\mathbf{P}+\mathbf{P}^T)\mathbf{x}+\mathbf{q}=\mathbf{P}\mathbf{x}+\mathbf{q},\quad\bigtriangledown^2f(\mathbf{x})=\mathbf{P} \]

The function is convex if and only if P ⪰ 0.

\[\begin{aligned}\text{Least-squares objective: }&f(\mathbf{x})=||\mathbf{A}\mathbf{x}-\mathbf{b}||_{2}^{2}\\\\\bigtriangledown&f(\mathbf{x})=2(\mathbf{A}^{T}\mathbf{A}\mathbf{x}-\mathbf{A}^{T}\mathbf{b})\quad\bigtriangledown^{2}f(\mathbf{x})=2\mathbf{A}^{T}\mathbf{A},注意 ||\mathbf{v}||_2^2=\mathbf{v}^T\mathbf{v}\\\\\text{This function is always convex}\end{aligned} \]

标量的转置等于它自身,如果有行列式和纵列式相乘,结果肯定是一个标量。


example:判断下方函数是否是凸集:

\[f(x,y)=\frac{x^2}{y} \]

核心就是一句话:对哪个变量求偏导,就把其他变量全当成常数。然后把一阶偏导再求一次,拼成 Hessian 矩阵。

步骤一就是求一阶导数:

\[\begin{gathered}对x求偏导时,把y看作常数:\\\\\begin{aligned}\frac{\partial f}{\partial x}=\frac{1}{y}\cdot\frac{d}{dx}(x^2)=\frac{2x}{y}\end{aligned}\\\text{对 }y\text{ 求偏导时,把 }x\text{ 看作常数:}\\\begin{aligned}\frac{\partial f}{\partial y}=x^2\cdot\frac{d}{dy}(y^{-1})=x^2(-y^{-2})=-\frac{x^2}{y^2}\end{aligned}\end{gathered} \]

得到一阶导数:

\[\nabla f(x,y)=\begin{bmatrix}\frac{2x}{y}\\-\frac{x^2}{y^2}\end{bmatrix} \]

第二步就是构造和计算hessian matric:

\[\begin{gathered}f_{xx}=\frac{\partial}{\partial x}\left(\frac{2x}{y}\right)=\frac{2}{y}.\\f_{xy}=\frac{\partial}{\partial y}\left(\frac{2x}{y}\right)=2x\cdot(-y^{-2})=-\frac{2x}{y^2}.\\f_{yx}=\frac{\partial}{\partial x}\left(-\frac{x^2}{y^2}\right)=-\frac{2x}{y^2}.\\f_{yy}=\frac{\partial}{\partial y}\left(-x^{2}y^{-2}\right)=-x^{2}(-2y^{-3})=\frac{2x^{2}}{y^{3}}.\end{gathered} \]

\[H=\begin{bmatrix}\frac{2}{y}&-\frac{2x}{y^2}\\-\frac{2x}{y^2}&\frac{2x^2}{y^3}\end{bmatrix} \]

\[\begin{gathered}\begin{bmatrix}y\\-x\end{bmatrix}\begin{bmatrix}y&-x\end{bmatrix}=\begin{bmatrix}y^2&-xy\\-xy&x^2\end{bmatrix}.\\\\\nabla^2f=\frac{2}{y^3}\begin{bmatrix}y\\-x\end{bmatrix}\begin{bmatrix}y&-x\end{bmatrix}.\end{gathered} \]

所以,这里的hessian matric需要大于0,hessian matric能拆分为如下形式,又因为范数值肯定大于0,所以只需要保证系数2/y*3大于0即可说明此矩阵为凸集。

\[\bigtriangledown^2f(\mathbf{x})=2\mathbf{A}^T\mathbf{A},\text{注意}||\mathbf{v}||_2^2=\mathbf{v}^T\mathbf{v} \]

\[\text{对于任意向量 }z\text{,有 }z^T(A^TA)z=\|Az\|^2\geq0\text{。 }A^TA\text{ 天然是半正定矩阵。} \]


上界与次级集 Epigraph and Sublevel Sets

Epigraph 上镜图

则是函数曲线上方的全部区域,它包含曲线本身以及曲线以上的所有高度。(类似于半定锥)

\[\mathrm{epi}(f)=\{(x,t):t\geq f(x)\} \]

某个固定的水平线a中有所有函数中的x:

\[f(x)\leq\alpha,sublevel set:C_\alpha=\{x:f(x)\leq\alpha\} \]

曲线与水平线之间的满足区域在x轴上的投影:sublevel set

有如下结论:

1.当且仅当函数 f 的上镜图 epi(f) 是一个凸集时,f 是一个凸函数。

2.对于一个可微的函数f,其切线向量就已经决定了其上半部分的支撑超平面。


检测是否为凸函数的方式

  1. 根据凸函数的定义
  2. 找到二阶导数,证明其hessian matric is positive semidefinite. (PSD大于等于0)
  3. 根据简单的凸函数,对其进行简单的,保留凸性的操作变化,组合出目标函数

nonnegative weighted sum(非负加权和):

\[\text{比如 }f(x)+2g(x)\text{,如果 }f\text{ 和 }g\text{ 都是凸函数,结果肯定也是凸函数} \]


composition with affine function(与仿射函数复合):

\[\begin{aligned}&\text{如果 }f\text{ 是凸的,}Ax+b\text{ 是线性的,那么}\\&f(Ax+b)\text{ 也是凸的。例如 }f(x)=(2x+1)^2\text{ 就是凸函数。}\end{aligned} \]


pointwise maximum(逐点最大值):一组凸函数中,取它们各个点上的最大值,形成的新函数依然是凸函数。

\[例如f(x)=\max(x^2,e^x) \]


composition(复合运算): 比如h(g(x)) 的凸性,取决于 h 和 g 的单调性和凸性(比如:凸+非递减复合凸 = 凸)。


minimization(最小化/边缘化): 如果联合函数f(x,y) 是凸的,那么固定 x 求关于 y 的最小值,得到的 g(x)=inf⁡y f(x,y)依然是凸的。 Infimum(下确界)infy,简单来说就是固定x的值,然后去寻找y的可能取值,然后判断凸性、

例如:

\[f(x,y)=x^2+y^2,这个肯定是凸函数 \]

如果固定x为2,那么g(x)= 4 + y*2,y最小值为0,再带入到原式子:

\[g(x)=\min_yf(x,y)=\min_y(x^2+y^2)=x^2+0=x^2,所以这个也是凸函数 \]


perspective(透视函数):

\[\begin{gathered}\text{如果 }f(x)\text{ 是个凸函数,那么用 }t\text{ 去缩放它的自变量和函数值(即 }tf(x/t)\text{),得到的新函数 }g(x,t)\\\text{在 }t>0\text{ 的区域里依然是个凸函数。“}\end{gathered} \]

posted @ 2026-10-07 22:14  narilove  阅读(38)  评论(0)    收藏  举报