摘要:
一、背景 与卡曼滤波不同的是,粒子滤波假设隐变量之间(隐变量与观测变量之间)是非线性的,并且不满足高斯分布,可以是任意的关系。 求解的还是和卡曼滤波一样,但由于分布不明确,所以需要用采样的方法求解。 二、重要性采样(importance sampling & SIS) 重要性采样(IS)需要计算p( 阅读全文
posted @ 2019-02-15 10:52
nxf_rabbit75
阅读(628)
评论(0)
推荐(0)
摘要:
一、背景 动态模型 = 图 + 时间 动态模型有三种:HMM、线性动态系统(kalman filter)、particle filter 线性动态系统与HMM的区别是假设相邻隐变量之间满足线性高斯分布,观测变量与隐变量之间满足线性高斯分布 二、线性动态系统两大问题:learning+inferenc 阅读全文
posted @ 2019-02-15 10:51
nxf_rabbit75
阅读(769)
评论(0)
推荐(0)
摘要:
作为一种随机采样方法,马尔科夫链蒙特卡罗(Markov Chain Monte Carlo,以下简称MCMC)在机器学习,深度学习以及自然语言处理等领域都有广泛的应用,是很多复杂算法求解的基础。比如分解机(Factorization Machines)推荐算法,还有前面讲到的受限玻尔兹曼机(RBM) 阅读全文
posted @ 2019-02-15 10:47
nxf_rabbit75
阅读(730)
评论(0)
推荐(0)
摘要:
一、背景(为什么要有变分推断?) 简单来说便是需要根据已有数据推断需要的分布P;当P不容易表达,不能直接求解时,可以尝试用变分推断的方法。即,寻找容易表达和求解的分布Q,当Q和P的差距很小的时候,Q就可以作为P的近似分布代替P。 二、公式推导 三、总结 变分推断是利用已知分布通过调整使其符合我们需要 阅读全文
posted @ 2019-02-15 10:44
nxf_rabbit75
阅读(833)
评论(0)
推荐(0)
摘要:
一、什么是高斯混合模型? 高斯混合模型(Gaussian Mixed Model)指的是多个高斯分布函数的线性组合,理论上GMM可以拟合出任意类型的分布,通常用于解决同一集合下的数据包含多个不同的分布的情况(或者是同一类分布,但参数不同,或者是不同类型的分布,比如正态分布和伯努利分布)。 上图中的点 阅读全文
posted @ 2019-02-15 09:18
nxf_rabbit75
阅读(1892)
评论(0)
推荐(0)
摘要:
目录 "EM算法的适用场景:" "EM算法的入门简单例子:" EM算法的适用场景: EM算法用于估计含有隐变量的概率模型参数的极大似然估计,或者极大后验概率估计。 当概率模型既含有观测值,又含有隐变量或潜在变量时,就可以使用EM算法来求解概率模型的参数。 当概率模型只含有观测值时,直接使用极大似然估 阅读全文
posted @ 2019-02-15 09:17
nxf_rabbit75
阅读(688)
评论(0)
推荐(0)
摘要:
一、概率图分为三类:表示、推断、学习 二、贝叶斯网络 Representation 条件独立性 三、贝叶斯网络 Representation D-speration 四、贝叶斯网络 Representation 具体模型例子 五、马尔可夫随机场 Representation 条件独立性 六、马尔可夫 阅读全文
posted @ 2019-02-15 09:16
nxf_rabbit75
阅读(1774)
评论(0)
推荐(1)
摘要:
一、背景 指数族分布有:高斯分布、伯努利分布、二项分布、泊松分布、beta分布、Dirichlet分布、gamma分布等 指数族分布有6大性质: 充分统计量 共轭 最大熵 广义线性模型 概率图模型 变分推断 指数族分布的标准形式: 二、高斯分布的指数族形式 三、对数配分函数与充分统计量的关系 四、极 阅读全文
posted @ 2019-02-15 09:16
nxf_rabbit75
阅读(4540)
评论(0)
推荐(1)
摘要:
一、背景介绍 二、正定核的两个定义 定义1与定义2的等价性 三、正定核充要条件-必要性证明 阅读全文
posted @ 2019-02-15 09:14
nxf_rabbit75
阅读(357)
评论(0)
推荐(0)