蒙特卡洛近似法

# # 蒙特卡洛近似法

通常来说， 使用公式推导随机变量函数的分布是很困难的，因此我们可以用蒙特卡洛近似法区计算概率分布。

蒙特卡洛法

1. 从原空间中生成\(n\)个样本（生成样本的方法有很多，常用的方法有马尔科夫链蒙特卡洛法(Markov chain Monte Carlo or MCMC)），
2. 使用蒙特卡洛近似(Monte Carlo approximation): 对于生成的样本，我们使用经验发布去近似分布

经验发布(empirical distribution): 是离散随机变量的一种常见分布，其概率质量函数定义:

\[p_{\mathrm{emp}}(A) \triangleq \frac{1}{N} \sum_{i=1}^N \delta_{x_i}(A) \]

where \(\delta_x(A)\) is the Dirac measure, defined by

\[\delta_x(A)= \begin{cases}0 & \text { if } x \notin A \\ 1 & \text { if } x \in A\end{cases} \]

其实简单的理解为，在经验发布下，我们认为样本出现多的事件的概率大

通过蒙特卡洛法近似的分布，可以通过以下计算分布的均值，方差等信息

• \(\bar{x}=\frac{1}{S} \sum_{s=1}^S x_s \rightarrow \mathbb{E}[X]\)
• \(\frac{1}{S} \sum_{s=1}^S\left(x_s-\bar{x}\right)^2 \rightarrow \operatorname{var}[X]\)
• \(\frac{1}{S} \#\left\{x_s \leq c\right\} \rightarrow P(X \leq c)\)
• \(\operatorname{median}\left\{x_1, \ldots, x_S\right\} \rightarrow \operatorname{median}(X)\)

个人理解: 我认为蒙特卡洛法就是使用密集的离散变量空间去近似连续变量空间的方法，当然它有效的解决了高维变量空间的分布函数不易推到的问题，并且其精度是随着生成样本增加而提升的

蒙特卡洛法的精度

蒙特卡洛法的精度是随着样本数量而增加的，根据中心极限定理的推导，蒙特卡洛的精度满足以下条件

我们通过蒙特卡洛法生成S个样本计算分布均值 \(\hat{u}\)，分布的实际均值是 \(u\)，那么两者满足：

\[(\hat{\mu}-\mu) \rightarrow \mathcal{N}\left(0, \frac{\sigma^2}{S}\right) \]

\(\sigma= var[f(X)]\)，我们不知道实际的\(\sigma\)，所以可以用蒙特卡洛法计算\(\hat{\sigma}\)

\[\hat{\sigma}^2=\frac{1}{S} \sum_{s=1}^S\left(f\left(x_s\right)-\hat{\mu}\right)^2 \]