摘要：package org.ccnt.med.body;import java.util.ArrayList;import java.util.List;public class Node { // 叶子节点 public final static String TYPE_LEAF = "leaf"; // 有子节点的节点 public final static Stri... 阅读全文
【PGM】Representation--Knowledge Engineering，不同的模型表示，变量的类型，structure & parameters
2013-06-18 16:33 by Loull, 387 阅读, 0 推荐, 收藏,
摘要：Part 1、重要的区别：Template based vs. specificDirected vs. undirectedGenerative vs. discriminative一、Template based vs. specificTemplate based: 较少的参数种类，feature会很多，要做feature engineering 比如image segmentationSpecific： 较多的参数种类 比如medical diagnose混合型： 比如fault diagnose二、Generative vs. discriminativeGener... 阅读全文
隐马尔科夫模型(Hidden Markov Models) 系列之五
2013-06-08 12:53 by Loull, 318 阅读, 1 推荐, 收藏,
摘要：隐马尔科夫模型(Hidden Markov Models) 系列之五 介绍（introduction)生成模式（Generating Patterns）隐含模式（Hidden Patterns）隐马尔科夫模型（Hidden Markov Models）前向算法（Forward Algorithm）维特比算法（Viterbi Algorithm）前向后向算法（Forward-Backward Algorithm）总结维特比算法(Viterbi Algorithm)找到可能性最大的隐藏序列通常我们都有一个特定的HMM，然后根据一个可观察序列去找到最可能生成这个可观察序列的隐藏序列。1.穷举搜索我们 阅读全文
隐马尔科夫模型(Hidden Markov Models) 系列之四
2013-06-08 12:52 by Loull, 357 阅读, 0 推荐, 收藏,
摘要：隐马尔科夫模型(Hidden Markov Models) 系列之四 介绍（introduction)生成模式（Generating Patterns）隐含模式（Hidden Patterns）隐马尔科夫模型（Hidden Markov Models）前向算法（Forward Algorithm）维特比算法（Viterbi Algorithm）前向后向算法（Forward-Backward Algorithm）总结前向算法(Forward Algorithm)一、如果计算一个可观察序列的概率？1.穷举搜索加入给定一个HMM，也就是说(,A,B)这个三元组已知，我 们想计算出某个可观察序列的概率 阅读全文
隐马尔科夫模型(Hidden Markov Models) 系列之二
2013-06-08 12:47 by Loull, 413 阅读, 1 推荐, 收藏,
摘要：隐马尔科夫模型(Hidden Markov Models) 系列之二 介绍（introduction)生成模式（Generating Patterns）隐含模式（Hidden Patterns）隐马尔科夫模型（Hidden Markov Models）前向算法（Forward Algorithm）维特比算法（Viterbi Algorithm）前向后向算法（Forward-Backward Algorithm）总结隐含模式（Hidden Patterns）当马尔科夫过程不够强大的时候，我们又该怎么办呢？在某些情况下马尔科夫过程不足以描述我们希望发现的模式。回到之前那个天气的例子，一个隐居的人可 阅读全文
隐马尔科夫模型(Hidden Markov Models) 系列之一
2013-06-08 12:35 by Loull, 647 阅读, 0 推荐, 收藏,
摘要：隐马尔科夫模型(Hidden Markov Models) 系列之一 介绍（introduction)生成模式（Generating Patterns）隐含模式（Hidden Patterns）隐马尔科夫模型（Hidden Markov Models）前向算法（Forward Algorithm）维特比算法（Viterbi Algorithm）前向后向算法（Forward-Backward Algorithm）总结介绍（introduction）通常我们总是对寻找某一段时间上的模式感兴趣，这些模式可能出现在很多领域：一个人在使用电脑的时候使用的命令的序列模式；一句话中的单词的序列；口语中的音素 阅读全文
动态贝叶斯网络(dynamic bayesian network)
2013-06-06 18:35 by Loull, 20456 阅读, 1 推荐, 收藏,
摘要：动态贝叶斯网络 我们已经在静态世界的上下文中发展了用于概率推理的技术，在这里每个随机变量都有一个唯一的固定取值。例如，在修理汽车时，我们总是假设在整个诊断过程中发生故障的部分一直都是有故障的（与时间无关）；我们的 任务是根据已观察到的证据推断汽车的状态，而这个状态是保持不变的。但是现实世界中的事件往往都是与时间有关系的，是动态的，对于这样的动态情景该如何建模？ 精确复制的，并且动态贝叶斯网络表示的是一个一阶马尔可夫过程，所以每个变量的父节点http://hi.baidu.com/feixue2015/item/b54e0314f18a3d0fd1d66d1e 阅读全文
Belief propagation
2013-06-06 18:31 by Loull, 599 阅读, 0 推荐, 收藏,
摘要：http://hi.baidu.com/binaryfan/item/f70b18ab05c04a3e030a4d65今天先说说belief propagation吧。这是machine learning的泰斗J. Pearl的最重要的贡献。对于统计学来说，它最重要的意义就是在于提出了一种很有效的求解条件边缘概率(conditional marginal probability)的方法。说的有点晦涩了，其实所谓求解条件边缘概率，通俗地说，就是已知某些条件的情况下，推导另外某些事件发生的概率。如果涉及的因素只有那么几个，一个学过概率论的大学生就可以使用简单的概率公式计算出来。可是，在现实世界中有 阅读全文
【转】统计模型之间的比较，HMM，最大熵模型，CRF条件随机场
2013-06-06 18:21 by Loull, 5981 阅读, 2 推荐, 收藏,
摘要：HMM模型将标注看作马尔可夫链，一阶马尔可夫链式针对相邻标注的关系进行建模，其中每个标记对应一个概率函数。HMM是一种生成模型，定义了联 合概率分布 ，其中x和y分别表示观察序列和相对应的标注序列的随机变量。为了能够定义这种联合概率分布，生成模型需要枚举出所有可能的观察序列，这在实际运算过程中很困难，因为我们需要将观察序列的元素看做是彼此孤立的个体即假设每个元素彼此独立，任何时刻的观察结果只依赖于该时刻的状态。HMM模 型的这个假设前提在比较小的数据集上是合适的，但实际上在大量真实语料中观察序列更多的是以一种多重的交互特征形式表现，观察元素之间广泛存在长程相关性。在命名实体识别的任务中，由于实 阅读全文
【PGM】factor graph，因子图，势函数potential function，Template models
2013-06-06 16:26 by Loull, 15147 阅读, 2 推荐, 收藏,
摘要：factor(a function/table)是对于variables(the scope of the factor)的某种combination的fitness。在BN中factor就是conditional probability distribution(CPD);但factor并不总对应着某种概率（当然也不一定取0~1），比如说在MRF中。和数据库table的操作类 似，factor上的基本操作有factor product ,factor marginalization & factor reduction。实际中最常用的模型大概是含有shared structure和s 阅读全文
【转】动态模型及其求解介绍–番外篇
2013-06-06 15:21 by Loull, 633 阅读, 0 推荐, 收藏,
摘要：上一篇文章（中篇）里 面，我用的示意图是因子图，而里面也出现了Psi函数，本来应该当时就解释清楚的，但实在没有精力写那么多东西，所以就想放到下篇讲的。后来发现，讲条件 随机场要结合有向无向图和independence graph，来推导模型，必须又花一些篇幅讲一下，这些都是基础背景，所以就一起推到这里来讲了。起名字还让我头疼，下已经被条件随机场预订了，这篇反正 都是背景知识，所以就叫番外篇吧。建议看整个系列的时候先看这篇，理解中和下(预计一周后动笔)就好理解多了。其实感觉我不大适合写很长的东西，目前所有的内容，我本来准备集中一篇文章搞定的，后来想分上下部，写到中途又决定分上中下，再到现在的番外 阅读全文
【PGM】贝叶斯网络 bayes-net，动态贝叶斯Dynamic Bayesian Network
2013-06-06 10:54 by Loull, 496 阅读, 0 推荐, 收藏,
摘要：BN总结1、一种分类的简单方法 计算效率高 构建简单2、在有很多弱相关features的领域会出奇的有效3、很强的独立性假设，如果features之间是强相关的，性能会降低DBN总结：1、DBNs能紧凑的表现出 任意时间轨迹长度的结构化的分布。2、DBNs有很多假设，这些假设要求有合适的模型(重)设计。 Markov 假设 时间不变性Time invariance 阅读全文
20130605
2013-06-05 13:42 by Loull, 225 阅读, 0 推荐, 收藏,
摘要：不知道干什么的时候，就学习吧。守弱。贝叶斯。人总是不断的在做决策，然后去实践。优化目标是什么？活的更容易点，一些欲望得到满足。看过一篇文章，好像说的是人生就是双方欲望的妥协总是依着习惯做事情。总有浑浑噩噩，不知道该干什么的时候。所学的东西的价值，会有很多时候，花了很大的功夫去学一个东西，结果没什么价值。如何避免？这个世界真的有很多是我不懂、不知道、不理解的，而且基本上这辈子都不可能知道的，所以就没办法先去知道是什么，然后去做。就像做决策，整个人生不可能是动态规划，很多时候是贪心算法，但可以使用类动态规划，即强化学习。是的，有很多事情，在不是很清楚具体会怎么样的时候，也可以去做了。 阅读全文
【转】动态模型及其求解介绍—下
2013-06-05 11:08 by Loull, 522 阅读, 0 推荐, 收藏,
摘要：之前，我们大致介绍了解线性动态模型的前三种代表性方法，并画了这么一张图来表示他们之间的关系。这一篇文章中，会对最后一种方法，CRF进行一些介绍。建议看这一篇文章之前，至少先把最大熵模型复习一遍，方便理解两者的关系。然后看看动态模型及其求解介绍—番外篇，对示意图的表示有一个比较清晰的认识。从关系图中我们看到，和NB与HMM之间的关系一样，CRF实际上就是序列版本的ME模型。当然你可以说最大熵马尔可夫也是一个序列模型，但是中篇文章已经提到了该模型的缺点了。而CRF则是用另一种思路去考虑问题的。也可以这样说，CRF是马尔可夫网络的一种变体。现在就来介绍一下，什么叫条件随机场。我们从之前的模型介绍看到 阅读全文
【转】动态模型及其求解介绍—中
2013-06-05 11:07 by Loull, 443 阅读, 0 推荐, 收藏,
摘要：在上一篇文章里面，我们提到了解线性动态模型的四种代表性方法，并画了这么一张图来表示他们之间的关系。这一篇文章中，我就针对他们的原理以及相互关系，来进行一些介绍。考虑到这四种方法中，朴素贝叶斯，隐马尔可夫，最大熵模型都是比较熟悉的，所以不做重点介绍，介绍的中心会放在中文资料很少的CRF(中文有人翻译成条件随机场)上面。但CRF会由以上三种方法引出来。好，切入正题。先给出演示情景模型。假设我们有特征向量x=(x1,x2,……xm)，你可以把它们想像成一封封即将来到你邮箱的邮件，现在你想对这些邮件进行判断归类，这个类别变量就是y，把y看成是向量集的话，就是y=(y1,y2,……,ym)。 我们先从. 阅读全文
浙公网安备 33010602011771号