《概率入门》 2.4 转换(Transforms)

许多涉及概率分布的计算和操作都可以通过使用转换来实现。我们在这里讨论一些这样的转换。

定义2.7 令X 为非负整数值随机变量。 X 的概率生成函数 (probability generating function PGF) 是在 [0, 1] → [0, 1] 上的函数 G ，定义为

\[G(z):=\mathbb{E}z^X=\sum_{x=0}^\infty z^x\mathbb{P}(X=x) \]

示例2.8 设X的pmf f为：

\[f(x)=e^{-\lambda} \frac{\lambda ^x}{x!}, x= 0,1,2, \cdots \]

我们很快就会将其引入泊松分布(Poisson distribution)，但现在这并不重要。 X 的 PGF 定义为

\[\begin{align*} G(z) &= \sum_{x=0}^\infty z^x e^{-\lambda}\frac{\lambda^x}{x!} \\ &= e^{-\lambda} \sum_{x=0}^\infty \frac{(z\lambda)^x}{x!} \\ &= e^{-\lambda} e^{z\lambda} = e^{-\lambda(1-z)} \end{align*} \]

知道了 X 的 PGF，我们可以轻松获得 pmf：

\[\mathbb{P}(X = x) = \frac{1}{x!} \frac{d^x}{dz^x} G(z) \bigg|_{z=0}, \quad x = 1, 2, \ldots \]

证明。通过定义

\[G(z)=z^0\mathbb{P}(X=0)+z^1\mathbb{P}(X=1)+z^2\mathbb{P}(X=2)+ \cdots \]

代入 x = 0 得到 G(0) = P(X = 0)。如果我们对 G(z) 微分(differentiate)一次，则

\[G'=\mathbb{P}(X=1)+2z\mathbb{P}(X=2)+3z^2\mathbb{P}(X=3)+ \cdots \]

因此，G′(0) = P(X = 1)。再次微分，我们看到 G′′(0) = 2P(X = 2)，一般来说，G 在零处的 n 阶导数是 \(G^{(n)}=x!\mathbb{P}(X=x)\)，这就完成了证明。

因此，我们有唯一性(uniqueness)属性：两个 pmf 当且仅当它们的 PGF 相同时是相同的。
PGF 的另一个有用的特性是，我们可以通过对 G 求导并在 z = 1 处求值来获得 X 的矩。
根据 z 对 G(z) 求微分得到

\[\begin{align*} &G'(z) = \frac{d \mathbb{E}z^X}{dz} = \mathbb{E} X z^{X-1} \\ &G''(z) = \frac{d \mathbb{E} X z^{X-1}}{dz} = \mathbb{E} X (X-1) z^{X-2} \\ &G'''(z) = \mathbb{E} X (X-1)(X-2) z^{X-3}. \end{align*} \]

等等。如果您不相信，请将期望写成总和，并使用总和的导数等于导数之和的事实（尽管在处理无限和时我们需要小心）。
特别是

\[\mathbb{E}X = G'(1) \]

以及

\[Var(X)=G''(1)+G'(1)-(G'(1))^2 \]

定义 2.8 随机变量 X 的矩生成函数 (moment generation function MGF) 是在 I → [0, ∞) 上的函数 M，定义为：

\[M(s)=\mathbb{E}e^{sX} \]

这里 I 是一个包含 0 的开区间，其中所有 s ∈ I 的上述积分都得到了很好的定义。

特别是，对于具有 pmf f 的离散随机变量，

\[M(s)=\sum_x e^{sx}f(x) \]

对于具有 pdf f 的连续随机变量，

\[M(s)=\int_xe^{sx}f(x)dx \]

我们有时会写 \(M_X\) 来强调 X 的作用。

对于PGF，矩生成函数具有唯一性：两个MGF当且仅当它们对应的分布函数相同时相同。

与 PGF 类似，X 的矩由 M 的导数得出：
如果 \(\mathbb{E}X^n\) 存在，则 M 是 n 次可微的，并且

\[\mathbb{E}X^n=M^{(n)}(0) \]

则申明矩生成函数：X 的矩只需通过微分即可找到。因此，X 的方差(variance)为

\[Var(X) = M''(0)-(M'(0))^2 \]

备注 2.1 这里讨论的转换在处理独立随机变量的总和时特别有用。我们将在第 4 章和第 5 章中再次讨论它们。