泛函与变分

引入

测度：积分式 \(\text d\) 后面的东西的大小就是测度的大小。\(\int s\text d F\) 的测度就是概率质量。
泛函就是多元微积分，只不过多元在这里是无穷维。

思考一个曲线，这个曲线上每个点都是一个独立的分量 \(y_i\)，每个 \(y_i\) 的变化导致 \(J\) 的变化都会贡献到变分里。

函数的变分：\(\delta y(x) = \tilde y(x) - y(x)\)。这和微分没有任何关系。\(\tilde y(x)\) 被称作微扰后的函数，一般是自己选的。

泛函的导数/Gateaux 导数：在 \(x=x_0\) 的分量定义是 \(\dfrac{\delta J}{\delta y(x)}\bigg|_{x=x_0}\)，类比方向导数。也叫 Gateaux 导数，是一维。如果微扰是狄拉克函数，那么 Gateaux 导数就可以写作影响函数 \(U(x,F)\)，此时正是偏导数（即在坐标轴上的方向导数）。

泛函的变分/Gateaux 微分：\(\displaystyle\delta J=\int \frac{\delta J}{\delta y(x)} \delta y(x) \text dx\)，类比全微分（其实我也不知道说全导数合不合适，因为大部分教材定义全导数=全微分）。非常有意思的是，Gateaux 提出的 Gateaux 微分 \(\delta t=\displaystyle\frac{\partial}{\partial \varepsilon}t(F_0+\varepsilon\delta F)\bigg|_{\varepsilon=0}=t'(F_0)\delta F\)，所以这个 \(\delta t\) 和泛函的变分是一模一样的。

Frechet 导数：Frechet 导数则是所有的方向导数都线性一致（Linear consistency，没有那种一个尖点每个方向导数存在但是切平面不唯一的情形，而是所有方向都在一个仿射集里），作用在某个方向上的 Frechet 导数就是 Gateaux 导数。类比梯度。是无穷维。

泛函泰勒公式：

\[t(\hat F)=t(F)+\int\frac{\delta t(F)}{\delta F}\text d(\hat F-F)(x)+\cdots \]

投影：

\[\text DF(u):\psi=\text dF(u;\psi) \]

统计学的一些推导

统计学里的微扰指的是 \(\tilde F = (1-\varepsilon)F+\varepsilon \Delta_x\)（得保证 \(\tilde F\) 还是一个分布函数）。\(\Delta\) 是狄拉克函数的分布函数。

均值

设计 \(t(F) = \mathbb E_F[X]\)。

\[\begin{aligned} t(\tilde F)=&\int s\text d \tilde F(s)\\ =&\int s((1-\varepsilon)\text d F+\varepsilon s\delta_x(s)\text ds)\\ =&(1-\varepsilon)\int s\text dF+\varepsilon x\int_x^x \delta_x(s) \text ds\\ =&(1-\varepsilon)\int s\text dF+\varepsilon x \end{aligned} \]

那么

\[\frac{\delta t}{\delta F}=x-\int s\text dF=x-\mathbb E_F[X]. \]

均值是 Frechet 可微的。

中位数

设计 \(t(F) = \text{median}(F)\)。

记

\[t(\tilde F)=\text{median}(\tilde F)=s(\varepsilon)=\tilde F^{-1}(\frac12) \]

\[t(F)=\text{median}(F)=s(0)=F^{-1}(\frac12) \]

那么

\[\lim_{\varepsilon\rightarrow 0} \frac{t(\tilde F)-t(F)}{\varepsilon}=\lim_{\varepsilon\rightarrow 0} \frac{s(\varepsilon)-s(0)}{\varepsilon}=\frac{\partial s}{\partial \varepsilon}\bigg|_{\varepsilon=0} \]

展开 \(\tilde F^{-1}\) 对 \(\varepsilon\) 求导

\[\begin{aligned} (1-\varepsilon)F(s(\varepsilon))+\varepsilon \Delta_x(s(\varepsilon))=&\frac12\\ \frac{\partial s}{\partial \varepsilon}\bigg|_{\varepsilon=0}=&\frac{\text{sgn}(x-s(0))}{2\frac{\partial F}{\partial s}\big|_{s=s(0)}}\\ \frac{\delta t}{\delta F}=&\frac{\text{sgn}(x-F^{-1}(\frac12))}{2f(F^{-1}(\frac12))}. \end{aligned} \]

或者，统计学里 \(\dfrac{\delta t}{\delta F}\) 也叫 \(U(x,F)\) 或者称之为 Score。

它的方差是泛函形式的 Fisher Information。

中位数是经典的 Frechet 不可微的例子（不满足线性加/微分的和\(\neq\)和的微分）。