随笔分类 - 概率图模型
摘要：案例入门 没有一种有向图可以表达上面的关系，所以这时候就需要用无向图来表示 基本概念 \(\color{red}{因子,或者叫势函数}\) \(\color{red}{辖域/scope}\) 因子的表示 输入是一个随机变量具体的值 输出是对应的可能情况,这说明因子就是没有归一化的概率密度函数/概率质
阅读全文
摘要：图与分布的等价性 如图3.5中的abc三张图 从分布构建图-最小I-map
阅读全文
摘要：d-分离 \(本节的目的是了解合适可以保证独立性条件(X\perp Y|Z)在于贝叶斯网络结构\mathcal(G)相关的分布中成立\) 直接连接 这个一看就是互相影响的，不可能独立 间接连接 考虑下面四种间接连接的情况 简单总结下就是 \(a,b,c三种情况是如果没有观察到Z。那么X，Y是相关的,
阅读全文
摘要：贝叶斯网络的定义 \(\color{red}{贝叶斯网络是一个有向无圈图(DAG)\mathcal{G}}\) 因子分解-基础 \(\color{red}{简单说，贝叶斯网络的因子分解=每个节点的条件概率(已知所有父节点的情况下)之积}\) 概率图 推理模式 拿到一封好的推荐信的概率为 \(P(L=
阅读全文
摘要：朴素贝叶斯模型定义 概率图模型 作用 适用场景 局限性 显而易见，各变量之间的独立假设过强是最大的局限性,相互影响的变量被重复计算，证据被重复计算，特征过多，反而性能下降
阅读全文
摘要：基本概念 \(节点\mathcal{X}\) \(边集\varepsilon\) \(有向边:X_i \to X_j\) \(无向边:X_i - X_j\) \(X_i \rightleftharpoons X_j:这条边可以是有向的(任意方向),也可以是无向的\) \(有向图\mathcal{G}
阅读全文
摘要：一些概念 条件概率 链式法则 贝叶斯定理 多项式分布，伯努利分布 一些记号的说明 \(P(X=x)缩写成P(x)\) \(\sum_x 表示X的所有可能取值之和 \sum_x P(x)=1\) \(联合概率P(X=x,Y=y)写成P(x,y)\) 边缘分布 \(P(x)就是随机变量X的边缘分布\)
阅读全文
摘要：        $从变量节点$i$到因子节点$a$的消息 \(i是变量节点，没有势函数，要计算i的邻居节点(\a 把a排除在
阅读全文
摘要：1.节点的势函数初始化 对应到j这个节点的因子做一个连乘积,就是j节点里面的全部因子 2.选取根节点，这个好说 3.计算消息，这个复杂了 \(以i到j节点为例\) \(先计算除了j之外，i的其他邻居节点到i的消息，这个例子里面是s到i，t到i的消息(\delta_{k\to j}),k\in (Nb
阅读全文
摘要：变量消元算法 \(A和其他几个\phi()函数无关,就放到后面去了\) 案例2 顺序总结 VE-Variable Eliminate 第二种消元法复杂度高于第一种的 复杂度还可以从图论的视角分析 导出图和变量消元顺序是一一对应的 scope 就是因子中包含的随机变量 导出图的宽度决定了这个消元顺序对
阅读全文
摘要：节点类型有两类 1.变量节点(圆圈表示) 2.因子节点(方块表示) - 这个因子基本就是神经网络中的隐变量 变量节点之间没有边 因子节点之间没有边 贝叶斯网络和MRF都可以用因子图来表示 \(f_a 代表的是某个因子,因子的连乘积表达了变量节点的概率分布\) 怎么连看左边下面的P中的元素，每个P对应
阅读全文
摘要：图像去噪案例 几个概念 联合概率分布 归一化因子/配分函数 - 作用：使得$p(x_1,...,x_n)$这个分布满足概率=1的要求 最后一个公式，也可以通过$\tilde p(x_1,...,x_n) 计算归一化因子$ 势函数 归一化因子怎么求？图中有 这张图里面的边缘概率$p(A,B)$是从上一
阅读全文
摘要：注意这里的父节点，指的是父节点的集合 核心问题-条件独立性 讲重点-条件独立性 Z表示是观测变量 比如第一条，如果W不是观测变量，那么X会影响Y，打了一个勾，表示具备概率流动性 第三条，对应右边图的右边部分,I,G,S这部分,若W已被观测，G,S没有流动性,若W未被观测，是有流动性，比如不知道他智力
阅读全文
摘要：重点来了，条件独立性，概率图模型的核心 第二张图形成了圈，是含圈的(不用看是否有向)
阅读全文
摘要：#1.入门 2.发展历程 #3.三大要素 表示，推理，学习 重要概念 条件独立性 三大类问题 应用举例 所谓像素深度就是判断远近程度 NIPS-这个点看下 NIPS（NeurIPS），全称神经信息处理系统大会(Conference and Workshop on Neural Information
阅读全文
浙公网安备 33010602011771号