摘要：
[toc] 前俩次，都用到了$rounding()$,遗憾的是，都没有讲清楚，这次稍微具体地讲下这篇论文。但是说实话，我感觉，我还是没有领会到这篇文章的精髓。 Setup of Batch PCA and Online PCA Batch PCA的目标，就是寻找一个子空间，能够最小化平方误差。 这篇 阅读全文
posted @ 2019-03-14 08:57
馒头and花卷
阅读(477)
评论(0)
推荐(0)
摘要：
[Toc] 从 "这里回溯" 到此文章，这篇文章得作者是之前那篇文章的第三作者，里头提到的算法也及其相似，所以算是前者的基础吧。 Problem 这篇文章同样是关于PCA（在线或者说随机），试图寻找一个合适的$k $维的子空间去压缩数据。 普通的PCA，是下面的这种形式： 但是因为这是一个非凸的问题 阅读全文
posted @ 2019-03-14 08:57
馒头and花卷
阅读(272)
评论(0)
推荐(0)
摘要：
[TOC] 实数域 Hermite矩阵 $满足\mathrm{P^{H}=P}$ $P = (I 2vv^{T})为初等正交Hermite（对称）矩阵$ $即：P^{T}=P,P^TP=I$ QR分解 Q为正交矩阵 R为上三角阵 一步 $先考虑Px=ke,P=(I 2vv^{T}),x\in\mat 阅读全文
posted @ 2019-03-14 08:55
馒头and花卷
阅读(1289)
评论(0)
推荐(0)
摘要：
[toc] 背景: sparse PCA 较 PCA来说更具可解释性，泛化性。 部分符号 $\mathrm{X} \in \mathbb{R}^{n \times p}$ 假设样本已经中心化（每一个行为一个样本） $\mathrm{X}=[X_1,X_2,\ldots, X_p]$ $X_j = ( 阅读全文
posted @ 2019-03-14 08:53
馒头and花卷
阅读(905)
评论(0)
推荐(0)
摘要：
[toc] 背景 有很多Sparse PCA 算法运用了收缩算法，但是呢，往往只考虑如何解决，每一次迭代的稀疏化问题，而忽略了收缩算法的选择。 总括 Hotelling's deflation 公式 $A_t = A_{t 1} x_tx_t^{\mathrm{T}}A_{t 1}x_tx_t^{\ 阅读全文
posted @ 2019-03-14 08:52
馒头and花卷
阅读(547)
评论(0)
推荐(0)
摘要：
[toc] 背景 上篇总结了一些收缩法，这篇论文就是一个示例，虽然这篇论文是在那人之前写的。 Sparse eigenvectors(单个向量的稀疏化) $A \in \mathrm{S}^{n} \rightarrow n\times n半正定矩阵$ 初始问题（low rank的思想？） $\ma 阅读全文
posted @ 2019-03-14 08:51
馒头and花卷
阅读(245)
评论(0)
推荐(0)
摘要：
[toc] 背景 懒得说了，毕竟和上一篇作者都是一个人，有特殊的情况是，上次做的复杂度过大，这次降低了复杂度。 Notation Sparse PCA 在上篇论文里面，也提到了这个式子。上次是用它来进行一个robust的解释，这一次，是来试图解决这个问题。 $\Sigma_{ii} \quad i= 阅读全文
posted @ 2019-03-14 08:50
馒头and花卷
阅读(284)
评论(0)
推荐(0)
摘要：
[toc] 概括 这篇论文，不像以往的那些论文，构造优化问题，然后再求解这个问题（一般都是凸化）。而是，直接选择某些特征，自然，不是瞎选的，论文给了一些理论支撑。但是，说实话，对于这个算法，我不敢苟同，我觉得好麻烦的。 Sparse PCA Formulation 非常普遍的问题 Optimalit 阅读全文
posted @ 2019-03-14 08:49
馒头and花卷
阅读(290)
评论(0)
推荐(0)
摘要：
[TOC] SPCArt算法，利用旋转（正交变换更为恰当，因为没有体现出旋转这个过程），交替迭代求解sparse PCA。 对以往一些SPCA算法复杂度的总结 注：$r$是选取的主成分数目，$m$为迭代次数,$p$为样本维度，$n$为样本数目。本文算法，需要先进行SVD，并未在上表中给出。 Nota 阅读全文
posted @ 2019-03-14 08:47
馒头and花卷
阅读(496)
评论(0)
推荐(0)
摘要：
[TOC] "Journee M, Nesterov Y, Richtarik P, et al. Generalized Power Method for Sparse Principal Component Analysis[J]. Journal of Machine Learning Res 阅读全文
posted @ 2019-03-14 08:46
馒头and花卷
阅读(630)
评论(0)
推荐(0)
Sparse Principal Component Analysis via Regularized Low Rank Matrix Approximation(Adjusted Variance)
摘要：
[TOC] 前言 这篇文章用的也是交替算法，不得不说，这个东西太好用了，变来变去怎么都能玩出花来。这篇论文的关键之处，我感觉是对adjusted variance的算法，比较让人信服。 文章概述 $X是中心化的样本矩阵$ 考虑下面的一个最优分解（F 范数）。 本文采取的也是一种搜索算法，每次计算一个 阅读全文
posted @ 2019-03-14 08:45
馒头and花卷
阅读(294)
评论(0)
推荐(0)
摘要：
[toc] 抱歉，真的没怎么看懂，当然，估计和我现在没法静下心来好好看也有关系。 算法 想法非常非常简单吧，就是在原来幂法的基础上，每次迭代的时候再加个截断。当然，论文里给出了，为什么这么做的理由，把我弄得晕晕的，但是思想就是这么朴素。现在的问题是： 1.k怎么选？ 2.初始$x$的选择 k的选择 阅读全文
posted @ 2019-03-14 08:43
馒头and花卷
阅读(337)
评论(0)
推荐(0)
摘要：
[toc] 可恶啊，又让我想起这玩意儿了，然后又忘记怎么推了，只能回去查一查了。其实我困扰的是，CNN的卷积为啥叫卷积啊，卷积不是$h(t)=\mathop{\sum}\limits_kf(k)g(t k)$吗，那个卷积核，分明可以直接对应元素相乘吗，网上有些图居然也是直接乘了。我以为卷积也有什么快 阅读全文
posted @ 2019-03-14 08:41
馒头and花卷
阅读(292)
评论(0)
推荐(0)
摘要：
[toc] 那些自动写表格的软件搞出来的实在太丑，所以自己弄来试试，不一定太好，但总比临时抱佛脚好些。【参考《140分钟学会LaTex》】 普通的例子 Notation 例子 p{width} 列分割符 @{} 裂缝符去掉表列之间的间隔，代之为俩个花括号间的任何输入。 \multicolumn su 阅读全文
posted @ 2019-03-14 08:40
馒头and花卷
阅读(1723)
评论(0)
推荐(0)
摘要：
@目录字体罗马字体 \mathrm{}斜体 \mathit{}粗体 \mathbf{}无衬线-f \mathsf{}打字机字体 \mathtt{}书法字体 \mathcal{}黑板粗体 \mathbb{} \usepackage德文尖角体 \mathfrak{} \usepackage花体 \mat 阅读全文
posted @ 2019-03-14 08:37
馒头and花卷
阅读(5704)
评论(0)
推荐(1)
浙公网安备 33010602011771号