随笔分类 -  Statistics

从数学角度看最大期望(EM)算法 II
摘要:【转载请注明出处】http://www.cnblogs.com/mashiqi 2015/3/13 对于隐变量只有有限个取值(比如$N$个)的情况,我们可以将隐变量表示为${z_j} = [{z_{j1}},{z_{j2}}, \cdots ,{z_{jN}}]$,其中${z_{jk}} \in \ 阅读全文

posted @ 2015-03-13 14:36 mashiqi 阅读(375) 评论(0) 推荐(0)

RSS(Residual Sum of Squares)的自由度为什么是n-1呢
摘要:【转载请注明出处】http://www.cnblogs.com/mashiqi 在回归问题中,偶尔我们会遇到求方差的估计的情况。举了例子,我们常常通过Gaussian分布${\cal N}(\mu ,{\sigma^2})$的样本集合$\{x_i\}_{i=1}^n$去估计分布的参数$\mu,\si 阅读全文

posted @ 2015-02-14 14:18 mashiqi 阅读(4844) 评论(0) 推荐(0)

False Discovery Rate, a intuitive explanation
摘要:【转载请注明出处】http://www.cnblogs.com/mashiqi Today let's talk about a intuitive explanation of Benjamini-Hochberg Procedure. My teacher Can told me this ex 阅读全文

posted @ 2015-01-21 17:47 mashiqi 阅读(595) 评论(0) 推荐(0)

从最小角回归(LARS)中学到的一个小知识(很短)
摘要:【转载请注明出处】http://www.cnblogs.com/mashiqi (居然有朋友说内容不接地气,那么我就再加一段嘛,请喜欢读笑话的同学直接看第二段)假设这里有一组向量$\left\{ x_i \right\}_{i=1}^n$和一个待投影的向量$u$。假设$u$和每个$x_i$的内积都为 阅读全文

posted @ 2015-01-15 16:42 mashiqi 阅读(726) 评论(1) 推荐(0)

Why one-norm is an agreeable alternative for zero-norm?
摘要:【转载请注明出处】http://www.cnblogs.com/mashiqi Today I try to give a brief inspection on why we always choose one-norm as the approximation of zero-norm, whi 阅读全文

posted @ 2014-12-26 22:51 mashiqi 阅读(472) 评论(0) 推荐(0)

从数学角度看最大期望(EM)算法 I
摘要:【转载请注明出处】http://www.cnblogs.com/mashiqi 2014/11/18 更新。发现以前的公式(2)里有错误,现已改过来。由于这几天和Can讨论了EM算法,回头看我以前写的这篇博客的时候,就发现公式里面有一个错误(多了一个连加符号),现在改正过来了。经过和Can的讨论,我 阅读全文

posted @ 2014-05-19 20:07 mashiqi 阅读(556) 评论(1) 推荐(0)

再生核希尔伯特空间(RKHS)在监督学习(SVM)中的应用
摘要:2014/4/10 在网上找到一个讲reproducing kernel的tutorial看了一看,下面介绍一下。 首先定义kernel(核): 于是我们可以从一个空间定义出一个kernel。接着,我们使用一个kernel来定义一个从到的映射,并称这个映射为reproducing kernel fe 阅读全文

posted @ 2014-05-12 15:17 mashiqi 阅读(8245) 评论(3) 推荐(1)

关于对偶最优化
摘要:我发现,想要了解一个领域的比较快速的方法就是去读本领域近几年的硕士和博士毕业论文(中文的就行)! 拉格朗日对偶 今天学习了拉格朗日对偶。我们首先考虑下面这个问题: 我们记 (这里如果是一个向量的话,那么相应的也是一个向量),则上述最优化问题可以等价于问题: 于是我们现在似乎可以开始求解问题了,最通常 阅读全文

posted @ 2014-05-09 16:03 mashiqi 阅读(3751) 评论(0) 推荐(1)

导航