随笔分类 -  Machine Learning

Momentum
摘要：一、目的 加快参数的收敛速度。 二、做法 另第t次的权重更新对第t+1次的权重更新造成影响。 从上式可看出，加入momentum后能够保持权重的更新方向，同时加快收敛。通常alpha的取值为[0.7, 0.95] 阅读全文
posted @ 2015-03-16 21:03 lireagan 阅读(268) 评论(0) 推荐(0)
Probabilistic Graphical Models：二、Bayes Network Fundamentals（1、Semantics & Factorization）
摘要：一、How to construct the dependency？ 1、首字母即随机变量名称 2、I->G是更加复杂的模型，但Bayes里不考虑，因为Bayes只是无环图。 3、CPD = conditional probability distribution。图中的每一个点都是一个CPD，这里 阅读全文
posted @ 2015-03-15 10:27 lireagan 阅读(507) 评论(0) 推荐(0)
Dropout阅读笔记
摘要：多伦多大学Hinton组 http://www.cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf 一、目的 降低overfitting的风险 二、原理 在网络的BP迭代训练过程中，每一次迭代的网络都结构不同（用dropout对网络剪枝，得到thinn 阅读全文
posted @ 2015-03-01 13:41 lireagan 阅读(335) 评论(0) 推荐(0)
梯度下降（BGD）、随机梯度下降（SGD）、Mini-batch Gradient Descent、带Mini-batch的SGD
摘要：一、回归函数及目标函数 以均方误差作为目标函数（损失函数），目的是使其值最小化，用于优化上式。 二、优化方式（Gradient Descent） 1、最速梯度下降法 也叫批量梯度下降法Batch Gradient Descent，BSD a、对目标函数求导 b、沿导数相反方向移动theta 原因： 阅读全文
posted @ 2015-03-01 12:05 lireagan 阅读(2077) 评论(0) 推荐(0)
(Convolutional Neural Networks)CNN-卷积神经网络学习
摘要：参考：http://blog.csdn.net/zouxy09/article/details/8781543 ( 但其中有部分错误) http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial 一、卷积(convolution) - 整理自UFL 阅读全文
posted @ 2014-12-11 11:43 lireagan 阅读(349) 评论(0) 推荐(0)
Ubuntu14.04+CUDA6.5环境下神经网络工具包Deepnet配置
摘要：deepnet是多伦多大学计算机系机器学习组开发的一个神经网络工具包，可以进行以下计算：1. Feed-forward Neural Nets2. Restricted Boltzmann Machines3. Deep Belief Nets4. Autoencoders5. Deep Boltz... 阅读全文
posted @ 2014-12-03 17:01 lireagan 阅读(855) 评论(1) 推荐(0)