RICA : Reconstruction Independent Component Analysis

前几天学习了ICA，上周五师兄讲论文中提到RICA，才发现原来ICA还有一个变种，赶紧过来脑补下。

ICA的具体内容见博主另一博文ICA: independent Component Analysis . ICA主要思想是学习一组不完备正交基重构样本。

ICA有三个不足之处：

1、不能学习过完备基（over-complete basis) ， 因为n维空间的正交基数为n

2、正交基对优化问题增加了硬约束（硬约束），使用LBFGS优化时，每轮结束要对学习到的基做正交化。增加了训练难度，因此要增加训练样本

3、样本需要做ZCA白化预处理

 

为了解决以上三个问题，提出了RICA，即对目标函数增加重构项，去掉正交的硬约束　　

 

 

上式基本和sparse coding的目标函数一致，不同的是sparse coding中隐含层有sigmoid函数非线性变换。从sparse coding的角度来看，重构项扮演退化约束的角色，它保

 

 

 证特征表示尽可能的稀疏，并且不会学到冗余特征。

 

当lambda趋于无穷时，RICA退化为ICA。

 

因为没有正交化的约束，因此RICA可以学习过完备基，而且可以使用像稀疏自编码中的BP算法进行优化。而且 RICA对于未白化的数码更加鲁棒。

 

 

困惑：

　　

　　既然RICA和sparse coding，那么把RICA还有存在的必要的么？对于spase coding来说，如果加上硬约束：W'W=I，是否也可学习出不完备正交基，相当于ICA了

 

 

参考资料：

 

　　http://ufldl.stanford.edu/tutorial/unsupervised/RICA/