摘要：
深度学习 优化算法 梯度下降 momentum Adam Adagrad Nesterov 阅读全文
摘要：
SVM,核函数,soft margin 阅读全文
摘要：
在前面的文章中,已经介绍了从 "有约束条件下的凸优化角度思考神经网络训练过程中的L2正则化" ,本次我们从最大后验概率点估计(MAP,maximum a posteriori point estimate)的角度来理解神经网络中十分重要的weight decay正则化方法. "前面的文章" 中讲到了 阅读全文
摘要：
深度学习中,常将可得的数据集划分为训练集(training set),验证集(development set/validation set)和测试集(test set).下文主要回答以下几个问题:一是为什么要将数据集划分为如上三个集合,三个集合之间有什么区别;二是我们划分的原则是什么. 1. 训练集 阅读全文
摘要：
从极大似然估计的角度理解深度学习中loss函数 为了理解这一概念,首先回顾下最大似然估计的概念: 最大似然估计常用于利用已知的样本结果,反推最有可能导致这一结果产生的参数值,往往模型结果已经确定,用于反推模型中的参数.即在参数空间中选择最有可能导致样本结果发生的参数.因为结果已知,则某一参数使得结果 阅读全文
摘要：
batch normalization学习理解笔记 最近在Andrew Ng课程中学到了Batch Normalization相关内容,通过查阅资料和原始paper,基本上弄懂了一些算法的细节部分,现在总结一下. 1. batch normalization算法思想的来源 不妨先看看原文的标题:Ba 阅读全文
摘要：
从有约束条件下的凸优化角度思考神经网络训练过程中的L2正则化 神经网络在训练过程中,为应对过拟合问题,可以采用正则化方法(regularization),一种常用的正则化方法是L2正则化. 1. 神经网络中L2正则化的定义形式如下: $$ J(W,b)=\frac{1}{m}\sum_{i=1}^{ 阅读全文
摘要：
最近在跟着Andrew Ng老师学习深度神经网络.在学习浅层神经网络(两层)的时候,推导反向传播公式遇到了一些困惑,网上没有找到系统推导的过程.后来通过学习矩阵求导相关技巧,终于搞清楚了.首先从最简单的logistics回归(单层神经网络)开始. logistics regression中的梯度下降 阅读全文