探索与利用（EE）常用策略

强化学习

表格型求解

按direclet分布随机

direclet分布式高维情况的beta分布。

下面介绍beta分布。

beta分布：以击棒球为例，根据某人的击球数据，估计其命中率$\theta$，取值范围[0,1]，此时可以将这个人的命中率的概率分布视为beta分布，该分布的特性是，当击球次数较少时，$\theta$ 的分布受其先验分布影响较大，随着击球次数的增加，方差减少（置信区间收窄），均值趋向于该人n次击球的准确率（后验概率）。

\[p(\theta | data ) = \frac{p(data|\theta) \cdot p(\theta)}{p(data)} \]

对上面公式的各个部分进行解释。

$p(data|\theta)$：给定$\theta$，进行n次Bernoulli实验，产生数据data的概率分布，为二项分布。假设data为总共击球N词，命中Z次。

\[p(data|\theta) = C^N_Z\theta^Z(1-\theta)^{N-Z} = \frac{beta(Z, N-Z)}{C_1} \]
$p(\theta)$： $\theta$的先验分布

\[p(\theta) = beta(\alpha, \beta) = \frac{\theta^\alpha(1-\theta)^\beta}{C_2} \]
$C_2$ 为归一化因子，即对分子按$\theta$ 从0到1进行积分。$\alpha,\beta$的比例按统计的先验分布的均值来定，数值大小根据经验或者效果需要而定，理论上可以根据方差（置信区间）来确定

\[k = \frac{E(\theta)\cdot(1-E(\theta))}{S^2} - 1, S为方差 \]
\[\alpha = E(\theta)\cdot k, \beta = (1-E(\theta))\cdot k \]
$ p(data)$ : 为归一化因子，即对分子按$\theta$ 从0到1进行积分，在给定data时为常数，所以以下推导只考虑正比关系。

推导：

\[p(\theta | data ) = \frac{p(data|\theta) \cdot p(\theta)}{p(data)} = \frac{beta(Z, N-Z) \cdot beta(\alpha, \beta)}{C} = \frac{beta(\alpha+Z, \beta+N-Z)}{C} \]

结论：后验分布 $p(\theta | data )$与其先验分布$p(\theta)$ 具有相同的形式，称之为共轭先验。