06 2014 档案
摘要：从cvchina上看到的，转载自demonstrate的blog自己稍作补充。这里搜集了一些常见的和machinelearning相关的网站，按照topic来分。ActiveLearninghttp://active-learning.net/，这里包括了关于ActiveLearning理论以及应用...
阅读全文
摘要：这里罗列一些看完此书后遗留的问题：常用 model 通过 BP/LBP 重新审视 inference 部分Lauritzen algorithm/Lauritzen-Spiegelhalter algorithmturbo codec 与 LBPGaussian processes 与 Gaussi...
阅读全文
摘要：这部分讨论决策理论与 PGM 的关系，一个主要的思路就是将决策与 PGM 的 inference 完美的融合在一起。MEU为了引入决策理论中的 maximum expected utility 原则，我们先引入一些概念：lottery（彩票）是一个结果与概率的映射关系，用户对不同的 lottery ...
阅读全文
摘要：前面结束了关于 learning 部分一些粗浅的讨论，我们大概明白了一些 learning 中 common sense/techniques。剩下的部分我们分为 causality 和 utility 两部分。Koller 的课程上面稍微涉及了一些后者的东西，不过觉得前者也挺有意思的，顺便了解一些...
阅读全文
摘要：这部分我们讨论结构学习，也就是 graph 的边我们并不清楚。很自然我们可以用 fully observed 数据来做，但是也可能碰到有 missing data 的情况。一般来说前者是比较常见的。就方法而言，我们有 constraint-based structure learning 与 sco...
阅读全文
摘要：这部分讨论在有数据缺失情况下的 learning 问题，这里仍然假定了图结构是已知的。首先需要讨论的是为什么会缺失，很多情况下缺失并不是“随机”的：有的缺失是人为的，那么某些情况下缺失的可以直接补上，而某些情况下我们需要使用额外的随机变量对缺失进行 modeling；有的缺失是随机的，有的是因为的确...
阅读全文
摘要：这部分开始，我们将讨论 learning 相关的内容。PGM 为 frequentist 与 Bayesian 系的 model 提供了同一种语言，对前者来说 learning 就是确定一种对“未知但是却是常值”的参数的估计，使得某种“准则”得到满足；对后者来说参数不存在“估计”问题，参数由于成为了...
阅读全文
摘要：作为 inference 部分的小结，我们这里对 machine learning 里面常见的三个 model 的 inference 问题进行整理，当然很幸运的是他们都存在 tractable 的算法是的我们避免了烦人的 approximate inference。HMM常意所说的 HMM 是对离...
阅读全文
摘要：这里简要的讨论 hybrid network 与一些时序数据的分析。hybrid network 指网络中存在离散随机变量与连续随机变量，这种情况下一般非常麻烦，这主要是因为连续型随机变量需要使用某个参数族来进行刻画，某些情况下对应的 margin 却不属于给定的参数族。常用的处理手段是离散化，即将...
阅读全文
摘要：MRF 笔记我们先讨论引入 MRF 的必要性。经典的例子就是四个 r.v.s 连成一个正方形的结构的时候，我们没法通过 BN 获得给定对角线两个 r.v.s 而剩下的条件独立（不都是 d-sep），反过来如果希望通过 MRF 刻画某些 BN 也是不可行的，经典的例子就是 inter-causal r...
阅读全文
摘要：有个比较有意思的想法是编码理论的反问题是 machine learning，这也是这部分学习的一个收获。这个其实很奇怪，编码理论其实是有 ground truth 的，然后通过编码产生“冗余”，这样才能通过含有噪声的信道后仍然能够被正确的解码（比较好的是相关的理论上界和最优编码已经非常接近了），这个...
阅读全文
摘要：和 Koller 的 video 最大的不同莫过于书上讲 LBP 的角度不是 procedural 的，而是原理性的。我们先看个 procedural 的，在一般的 cluster graph 上的 BP 改进版即 loopy belief propagation 先将所有的 message 初始化...
阅读全文
摘要：前面的近似策略是寻找了 energy functional 的近似，该近似导致了 LBP，这使得 message passing 的算法不变。近似使用 I-projection，尽管这个一般说来并不容易得到解，但是给出了 partition function 的下界。这部分我们讨论的第一个策略是尽量...
阅读全文
摘要：这部分 cover 两个比较特殊的情形，一个是 Gaussian networks，一个是 exponential family。正态分布常见的参数化策略是均值 和协方差矩阵 ，另一种是使用 information matrix/precision matrix，即 ，另可以用所谓 potenti...
阅读全文
摘要：这部分讨论 MAP 估计。从某个角度上来说，我们可以将这个问题转换成为前面讨论过的：这样一来我们只需要将原先的 sum-product 换成 max-sum 即可。话虽这么说，我们还是看看 Koller 同学给大家准备了些什么东西。首先是一些复杂性方面的结论，如给定一个 BN 和常数 ，问是否存在 ...
阅读全文
摘要：这部分介绍 sampling 方法，书上也称为 particle-based method，这是因为每一个从分布中采集到的样本可以看成是一个 particle（instantiation of r.v.），而我们的 inference 借助了 particles。比较简单的问题就是 forward ...
阅读全文
摘要：这部分讨论 inference 里面基本的问题，即计算 这类 query，这一般可以认为等价于计算 ，因为我们只需要重新 normalize 一下关于 的分布就得到了需要的值，特别是像 MAP 这类 query（一般此时 是 的补集，可以理解成为取 只需要将这里一些 sum 换成 max ...
阅读全文
摘要：这部分主要讨论了一些概念性的东西。一个是常用的 local probabilistic models，一个是如何用 template-based representation。这部分主要是一些概念，特别是对 BN 在某些特殊场所下 d-sep 概念的推广。这里需要区分一点的是 context 与“给...
阅读全文
摘要：很遗憾前面只看过 Michael Jordan 写的一部分，这次打算把 Daphne Koller 和 Nir Friedman 合著的 Probabilistic Graphical Models: Principles and Techniques 好好过一遍。作者认为与通常写一个 specif...
阅读全文
摘要：一、随机场定义http://zh.wikipedia.org/zh-cn/随机场随机场（Random field）定义如下：在概率论中, 由样本空间Ω = {0, 1, …,G−1}n取样构成的随机变量Xi所组成的S= {X1, …,Xn}。若对所有的ω∈Ω下式均成立，则称π为一个随机场。π(ω) ...
阅读全文
摘要：D-Separation(D分离)-PRML-8.22-Graphical Model五18by小军一、引言在贝叶斯网络的学习过程中，经常会遇到（D-Separation）D-分离这个概念，D-分离是寻找网络节点之间的条件独立性的一种方法或者说一种问题的简化处理的技巧。采用D-分离技术，在用贝叶斯网...
阅读全文
摘要：CVPR 2013 关于图像/场景分类(classification)的文章paper list八14by小军这个搜罗了cvpr2013有关于classification的相关文章，自己得mark下来好好看看，好快啊，都快研二了，但是还是一点头绪都没！好好看看，争取每篇文章写点思想。Oral:1、R...
阅读全文
摘要：Traditionally, many classification problems try to solve the two or multi-class situation. The goal of the machine learning application is to distingu...
阅读全文
摘要：SVM(support vector machine)，被认为是“off-the-shelf”最好的监督机器学习算法之一，甚至很多人认为可以把“之一”去掉。SVM有着天然的intuition，大量的数学推导和优雅的解形式(有了大量的数学推导，自然就容易发paper啦)。实际上SVM在工业界也有着广...
阅读全文
摘要：转自人人网在过去的一年中，我一直在数学的海洋中游荡，research进展不多，对于数学世界的阅历算是有了一些长进。为什么要深入数学的世界作为计算机的学生，我没有任何企图要成为一个数学家。我学习数学的目的，是要 想爬上巨人的肩膀，希望站在更高的高度，能把我自己研究的东西看得更深广一些。说起来，我在刚来...
阅读全文
摘要：机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接...
阅读全文
摘要：机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接...
阅读全文
摘要：机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录...
阅读全文
摘要：机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(...
阅读全文
摘要：机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链...
阅读全文