随笔分类 -  机器学习

摘要：前面Andrew Ng的讲义基本看完了。Andrew讲的真是通俗易懂，只是不过瘾啊，讲的太少了。趁着看完那章convolution and pooling， 自己又去翻了翻CNN的相关东西。当时看讲义时，有一点是不太清楚的，就是讲义只讲了一次convolution和一次pooling，而且第一次的convolution很容易理解，针对一副图像来的，但是经过一次convolution和pooling后，一副图像变成了好多副特征图（feature map）这时候再进行convolution时，该怎么办呢？所以去瞅了瞅CNN的相关论文。CNN最经典的案例应该是LeNet-5这个数字识别的任务了吧。这 阅读全文

摘要：图像大小与参数个数：前面几章都是针对小图像块处理的，这一章则是针对大图像进行处理的。两者在这的区别还是很明显的，小图像（如8*8，MINIST的28*28）可以采用全连接的方式（即输入层和隐含层直接相连）。但是大图像，这个将会变得很耗时：比如96*96的图像，若采用全连接方式，需要96*96个输入单元，然后如果要训练100个特征，只这一层就需要96*96*100个参数（W,b），训练时间将是前面的几百或者上万倍。所以这里用到了部分联通网络。对于图像来说，每个隐含单元仅仅连接输入图像的一小片相邻区域。这样就引出了一个卷积的方法：convolution：自然图像有其固有特性，也就是说，图像的一部分 阅读全文

摘要：线性解码器（Linear Decoder）前面第一章提到稀疏自编码器（http://www.cnblogs.com/bzjia-blog/p/SparseAutoencoder.html）的三层网络结构，我们要满足最后一层的输出：a（3）≈a（1）（即输入值x）的近似重建。考虑到在最后一层的a（3）=f（z（3）），这里f一般用sigmoid函数或tanh函数等非线性函数，而将输出界定在一个范围内（比如sigmoid函数使结果在[0，1]中）。这对于有些数据组，例如MNIST手写数字库中其输入输出范围符合极佳，但并不是所有的情况都满足这个条件。例如，若采用PCA白化，输入将不再限制于[0,1] 阅读全文

摘要：这一个多周忙别的事去了，忙完了，接着看讲义~这章讲的是深度网络（Deep Network）。前面讲了自学习网络，通过稀疏自编码和一个logistic回归或者softmax回归连接，显然是3层的。而这章则要讲深度（多层）网络的优势。Deep Network：为什么要使用深度网络呢？使用深度网络最主要的优势在于，它能以简洁的方式来表达比浅层网络大得多的函数集合。正式点说，可以找到一些函数，它们能够用k层网络简洁的表达出来（这里的简洁指的是使用隐层单元的数目与输入单元数目是多项式关系），但是对一个只有（k-1）层的网络而言，除非它使用与输入单元数目呈指数关系的隐层单元数目，否则不能简洁表达这些函数。 阅读全文

摘要：最近开始看Deep Learning，随手记点，方便以后查看。主要参考资料是Stanford 教授 Andrew Ng 的 Deep Learning 教程讲义：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial。这个讲义已经... 阅读全文