文章分类 -  机器学习与深度学习

摘要:在前面的logistic regression博文Deep learning:四(logistic regression练习) 中,我们知道logistic regression很适合做一些非线性方面的分类问题,不过它只适合处理二分类的问题,且在给出分类结果时还会给出结果的概率。那么如果需要用类似的 阅读全文
posted @ 2018-01-26 19:46 北方客888 阅读(99) 评论(0) 推荐(0)
摘要:前言: 现在来用PCA,PCA Whitening对自然图像进行处理。这些理论知识参考前面的博文:Deep learning:十(PCA和whitening)。而本次试验的数据,步骤,要求等参考网页:http://deeplearning.stanford.edu/wiki/index.php/UF 阅读全文
posted @ 2018-01-26 19:45 北方客888 阅读(134) 评论(0) 推荐(0)
摘要:前言: 这节主要是练习下PCA,PCA Whitening以及ZCA Whitening在2D数据上的使用,2D的数据集是45个数据点,每个数据点是2维的。参考的资料是:Exercise:PCA in 2D。结合前面的博文Deep learning:十(PCA和whitening)理论知识,来进一步 阅读全文
posted @ 2018-01-26 19:40 北方客888 阅读(111) 评论(0) 推荐(0)
摘要:PCA: PCA的具有2个功能,一是维数约简(可以加快算法的训练速度,减小内存消耗等),一是数据的可视化。 PCA并不是线性回归,因为线性回归是保证得到的函数是y值方面误差最小,而PCA是保证得到的函数到所降的维度上的误差最小。另外线性回归是通过x值来预测y值,而PCA中是将所有的x样本都同等对待。 阅读全文
posted @ 2018-01-26 19:38 北方客888 阅读(128) 评论(0) 推荐(0)
摘要:前言: 现在来进入sparse autoencoder的一个实例练习,参考Ng的网页教程:Exercise:Sparse Autoencoder。这个例子所要实现的内容大概如下:从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张,现在需要用sparse autoencod 阅读全文
posted @ 2018-01-26 19:37 北方客888 阅读(141) 评论(0) 推荐(0)
摘要:前言: 这节课来学习下Deep learning领域比较出名的一类算法——sparse autoencoder,即稀疏模式的自动编码。我们知道,deep learning也叫做unsupervised learning,所以这里的sparse autoencoder也应是无监督的。按照前面的博文:D 阅读全文
posted @ 2018-01-26 19:35 北方客888 阅读(124) 评论(0) 推荐(0)
摘要:前面的文章已经介绍过了2种经典的机器学习算法:线性回归和logistic回归,并且在后面的练习中也能够感觉到这2种方法在一些问题的求解中能够取得很好的效果。现在开始来看看另一种机器学习算法——神经网络。线性回归或者logistic回归问题理论上不是可以解决所有的回归和分类问题么,那么为什么还有其它各 阅读全文
posted @ 2018-01-26 19:34 北方客888 阅读(83) 评论(0) 推荐(0)
摘要:前言: 在上一讲Deep learning:五(regularized线性回归练习)中已经介绍了regularization项在线性回归问题中的应用,这节主要是练习regularization项在logistic回归中的应用,并使用牛顿法来求解模型的参数。参考的网页资料为:http://opencl 阅读全文
posted @ 2018-01-26 19:33 北方客888 阅读(73) 评论(0) 推荐(0)
摘要:前言: 本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中,如果模型的参数太多,而训练样本又太少的话,这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中,需要对模型的参数进行“惩罚”,这样的话这些参数就不会太大,而越小的参数说明模型越简单,越简单的模型则越 阅读全文
posted @ 2018-01-26 19:28 北方客888 阅读(92) 评论(0) 推荐(0)
摘要:前言: 本节来练习下logistic regression相关内容,参考的资料为网页:http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.htm 阅读全文
posted @ 2018-01-26 19:23 北方客888 阅读(110) 评论(0) 推荐(0)
摘要:前言: 本文主要是来练习多变量线性回归问题(其实本文也就3个变量),参考资料见网页:http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex3/ex3.html 阅读全文
posted @ 2018-01-26 19:22 北方客888 阅读(138) 评论(0) 推荐(0)
摘要:前言 本文是多元线性回归的练习,这里练习的是最简单的二元线性回归,参考斯坦福大学的教学网http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.ht 阅读全文
posted @ 2018-01-26 19:20 北方客888 阅读(176) 评论(0) 推荐(0)
摘要:前言: 最近打算稍微系统的学习下deep learing的一些理论知识,打算采用Andrew Ng的网页教程UFLDL Tutorial,据说这个教程写得浅显易懂,也不太长。不过在这这之前还是复习下machine learning的基础知识,见网页:http://openclassroom.stan 阅读全文
posted @ 2018-01-26 19:18 北方客888 阅读(81) 评论(0) 推荐(0)