摘要：一：频率派，贝叶斯派的哲学 现在考虑一个最最基本的问题，到底什么是概率?当然概率已经是在数学上严格的，良好定义的，这要归功于30年代大数学家A.N.Kolmogrov的概率论公理化。但是数学上的概率和现实世界到底是有怎样的关系?我们在用数学理论 概率论解决实际问题的时候，又应该用什么样的观点呢?这真 阅读全文

摘要：所谓蒙特卡罗方法（Monte Carlo method），也称为统计模拟方法，指的是一系列随机模拟某个分布，然后近似计算某些量的方法。蒙特卡罗方法在金融，计算物理，机器学习等领域有着广泛的应用。蒙特卡罗方法的命名来自于大数学家冯诺依曼(John von Neumann)，其将该算法命名为一家摩纳哥的 阅读全文

摘要：一.蒙特卡罗法的缺陷 通常的蒙特卡罗方法可以模拟生成满足某个分布的随机向量，但是蒙特卡罗方法的缺陷就是难以对高维分布进行模拟。对于高维分布的模拟，最受欢迎的算法当属马尔科夫链蒙特卡罗算法(MCMC)，他通过构造一条马尔科夫链来分步生成随机向量来逼近制定的分布，以达到减小运算量的目的。 二.马尔科夫链 阅读全文

摘要：1. Kullback-Leibler 散度： 在概率论，信息论中我们往往得考虑两个概率分布（更一般的，测度）的差异度，一种衡量方式就是所谓的用Kullback-Leibler散度（或者称距离）表征两个测度（分布）的差异度，其定义如下： 定义 1.1 ：$P,Q$是样本空间$(\Omega, \ma 阅读全文

摘要：我们现在考虑一类具有隐变量的统计推断问题，用数学的语言就是说: 1) 我们的总体样本空间$\mathcal{S}\in\mathbb{R}^{M}\times\mathbb{R}^{L}$, 其分布的概率密度函数是$P(x,y\mid \theta)$，其中$x\in\mathbb{R}^{M},y 阅读全文