Jensen不等式证明

Jensen不等式：设 \(f(x)\) 为凸函数，\(x_1, x_2,\cdots, x_n\) 在 \(f\) 的定义域内，\(\lambda_1, \lambda_2,\cdots,\lambda_n\in[0, 1]\) 且 \(\sum \lambda = 1\)，则

\[f\left(\sum^n_{i = 1}(\lambda_i x_i)\right) = \sum^n_{i = 1}(\lambda_i f(x_i)) \]

何为凸函数？
导数形式的定义：\(\forall x_1 < x_2, f''(x1)\le f''(x2)\)。
与其等价的一个定义：\(\forall x_1, x_2, (t\in [0, 1])\) 有 \(f(tx_1 + (1 - t)x_2)\le tf(x_1) + (1 - t)f(x_2)\)。
我们采用归纳法证明。
当 \(n = 2\) 时，由定义可知正确。
假设当 \(n = m\) 时成立。
则当 \(n = m + 1\) 时：
令 \(s = \displaystyle\sum_{i = 1}^m\lambda_i = 1 - \lambda_{m + 1}\)。
以及 \(y_i = \dfrac{\lambda_i}{s}\)。
因此 \(\displaystyle\sum_{i = 1}^{m} y_i = 1\)。
所以

\[\begin{align*} f\left(\sum^{m + 1}_{i = 1}(\lambda_i x_i)\right) &= f\left(s\sum_{i = 1}^{m}(y_ix_i) + \lambda_{m + 1}x_{m + 1}\right) \\ &\le sf(\sum^m_{i = 1}y_ix_i) + \lambda_{m + 1}f(x_{m + 1}) \\ &\le s\sum^m_{i = 1}(y_if(x_i)) + \lambda_{m + 1}f(x_{m + 1}) \\ &= \sum_{i = 1}^{m + 1}(\lambda_if(x_i)) \end{align*} \]

得证。
如果对于所有满足 \(\lambda\not= 0\) 的 \(i,j\) 有 \(x_i = x_j\)，则等号成立。