mcmc

a-zero-math-introduction-to-markov-chain-monte-carlo-methods

https://towardsdatascience.com/a-zero-math-introduction-to-markov-chain-monte-carlo-methods-dcba889e0c50

 

McMc & Gibbs Sampling

https://cosx.org/2013/01/lda-math-mcmc-and-gibbs-sampling

 

 

prior distribution  先验分布, 即在观测到数据前基于经验给出的分布.

likelihood distribution  似然分布, 根据观测到的数据, 拟合出的分布.

Bayesian analysis, 就是判断参数如何设定, 才能在参考先验分布的情况下, 最大化观测到给定样本的概率, 拟合出的分布称为 posterior distribution 后验分布.

 

有些情况下, 后验分布难以直接计算, 此时MCMC(Markov-chain-Monte-Carlo)就派上了用场.

 

蒙特卡洛方法(Monte Carlo simulation)

蒙特卡洛模拟通过随机数生成来估计固定参数, 比如"投针法"估算圆面积; 所以在参数无法直接计算或开销昂贵的情况下很是有用.

 

马尔科夫链(Markov chains)

一个事件序列, 下一个事件状态由且只由序列中的上一个事件状态决定. (An important feature of Markov chains is that they are memoryless)