文章分类 - UFLDL
摘要：UFLDL上的ICA为什么一定要做PCA whitenAndrew Ng先生的UFLDL教程真可谓deep learning入门的首选课程。在两年前我看教程里讲ICA部分的（链接）时候，里面提到使用教程所述的ICA模型时，输入数据必须经过PCA白化操作，页面上有个TODO问为什么要这样做。以当年的我...
阅读全文
摘要：总结：1）其实最初打算再看这个，是由于NN的BP总理解不了。不过，现在发现，看了这个CNN的BP还得看。2）总之，花了点时间，虽然是看了别人的代码，仿出来的代码，还是有收获吧。3）除了卷积和池化，英文版后面还有些内容，没做，以后再来补吧。UFLDL Tutorial4）5）6）问题：1）2）3）4）...
阅读全文
摘要：总结：1）就是用前一个线性解码器的实验学习到的权值作为卷积核，然后卷积、池化，最后送入softmax分类器。2）这种方法有个特殊就地方，就是由于原始数据用了0均值和ZCAWhite，所以对于线性解码器的参数进行了相应的处理，这里没有学过的。3）MATLAB没办法搞DL，就这相当费时，费内存。在这上面...
阅读全文
摘要：总结：1）这就是把自编码的最后一次输出的激活，由sigmoid改为线性，直接输出。导致自编码，可以编码任意的输出，而不限定输入的值域为[0,1]，这样导致还要更改一下反向传输的残差。2）实验还保存了，整个网络完整的权值optTheta，ZCAWhite白化矩阵，meanPatch对于每个小块求出的均...
阅读全文
摘要：总结：1）依次两个稀疏自编码后，加上一个softmax。相对于前一个实验的差距在于1、多加了一个稀疏自编码。2、加入了反向微调。2）也算是对于梯度偏差和残差有了点更进一步的了解3）4）5）问题：1）softmax反向传播这一块，更多就是带公式，没办法手动推导（现在也没时间），所以编写的很变扭。2）由...
阅读全文
摘要：总结：1）就是自编码隐藏学习的特征，送入softmax分类器。2）算是对于之前编写的代码的一个总结。3）fprintf('Test Accuracy: %f%%\n', 100*mean(pred(:) == testLabels(:))); 这个简单的输出准确率的代码写的好呀。4）实验其实对于训练...
阅读全文
摘要：总结：1）softmax的一个介绍，现在才感觉到UFLDL就是直接上，详细的没有。2）细节上各方面，展示的很到位。3）算是学会了函数bsxfun的使用方法。4）5）问题：1）由于对于矩阵运算不懂，以及softmax的基本原理不懂，以及lbfgs不懂，所以还是理解不到位的。2）softmaxCost....
阅读全文
摘要：Softmax公式推导UFLDL的教程(http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92)中提到了Softmax回归，直接给出了梯度更新公式，但是没有给出公式推导。这里对公式推导进行简单的补充说明。
阅读全文
摘要：总结：1）前一个实验在自然图像上的拓展。2）主要是展示了PCA处理后的图像的协方差矩阵基本为对角阵的这个现象，方便以后检验，而且要加正则项。3）代码中给了一个如果从图像中选择小块的代码样例sampleIMAGESRAW.m4）PCA降维的数据还是可以查看的，但是白化后的数据就没办法看了。5）问题：1...
阅读全文
摘要：做这个实验对于PCA有了进一步的了解，但是其实还是没有完全理解。不过先就这样了。问题：1）其实对于PCA这块还是没有比较深刻的理解2）SVD不懂呀。3）4）5）想法：1）感觉，如果PCA只是为了降维准备的话，应该还是要按照Andrew Ng CS229中的方法，先0均值，然后标准方差，然后PCA...
阅读全文
摘要：这个实验其实主要是对于sparseAutoencoderCost.m向量化，但是由于之前已经进行了向量化，所以这其实没什么内容（之前其实感觉向量化，挺难的，但是第一个实验就向量化是有难度的，不过这个实验之前有很多向量化的提示）。就是自编码的结构参数，按照文档改一下，下载给的帮助代码。问题：1）2...
阅读全文
摘要：没想到，时隔多年后，再次搞这UFLDL，快速撸过吧。哎。 之前这第一个练习，没搞懂，现在感觉主要是这个推导并不完整，来的有点突然，要结合Tom的《机器学习》一起看，才能看懂。而且，其实这UFLDL的这一块BP就是看Tom的《机器学习》整出来的。主要是，之前一直没有搞懂这个残差这个概念，现在看T...
阅读全文
浙公网安备 33010602011771号