采样 - 随笔分类 - 未雨愁眸

摘要：1. 基本概念统计学理论中，分层抽样针对的是对一个总体（population）进行抽样的方法。尤其适用于当总体内部，子总体（subpopulations）间差异较大时。每一个 subpopulation，也称为层（stratum）。2. 均值与方差Stratified... 阅读全文

posted @ 2017-04-19 12:13 未雨愁眸阅读(2994) 评论(0) 推荐(0)

摘要：Gibbs 采样的最大作用在于使得对高维连续概率分布的抽样由复杂变得简单。可能的应用：计算高维连续概率分布函数的数学期望， Gibbs 采样得到 n 个值，再取均值；比如用于 RBM；阅读全文

posted @ 2017-04-03 22:44 未雨愁眸阅读(321) 评论(0) 推荐(0)

摘要：MCMC: The Gibbs Sampler 多元高斯分布的边缘概率和条件概率 Marginal and conditional distributions of multivariate normal distributionclear, clcrng('defa... 阅读全文

posted @ 2017-04-03 22:13 未雨愁眸阅读(2452) 评论(0) 推荐(0)

摘要：坐标平面上的三点，A(x1,y1),B(x1,y2),C(x2,y1)，假设有概率分布 p(x,y)（P(X=x,Y=y) 联合概率），则根据联合概率与条件概率的关系，则有如下两个等式： {p(x1,y1)p(y2|x1)=p(x1)p(y1|x1)p(y2|x1)... 阅读全文

posted @ 2017-04-03 14:47 未雨愁眸阅读(189) 评论(0) 推荐(0)

摘要：离散型概率分布可通过简单的 0-1 区间上的均匀分布获得，假设某离散型概率分布 P=[p1,p2,…,pn]（∑pi=1，pi 表示状态为 i 的概率），则通过 ρ∼U[0,1] 区间上的均匀分布，采用如下的方式（瓜分 0-1 的区间长度）：0≤ρ<p1 ⇒ 返回状... 阅读全文

posted @ 2017-04-02 17:54 未雨愁眸阅读(681) 评论(0) 推荐(0)

摘要：计算机本身是无法产生真正的随机数的，但是可以根据一定的算法产生伪随机数（pseudo-random numbers)。最古老最简单的莫过于 Linear congruential generator：xn+1=(axn+c)modm式中的 a 和 c 都是根据数学知识... 阅读全文

posted @ 2016-11-21 12:04 未雨愁眸阅读(262) 评论(0) 推荐(0)

摘要：Metropolis 算法又叫 Metropolis 抽样，是模拟退火算法的基础，在早期的科学计算中蒙特卡洛方法（Monte Carlo）是对大量原子在给定温度下的平衡态的随机模拟，当蒙特卡洛算法计算量偏大。1953 年，Metropolis 提出重要性采样，即以概率... 阅读全文

posted @ 2016-11-09 16:05 未雨愁眸阅读(1419) 评论(0) 推荐(0)

随笔分类 - 采样