摘要：卷积神经网络 LeNet-5各层参数详解 LeNet论文阅读：LeNet结构以及参数个数计算 LeNet-5共有7层，不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。 1. 阅读全文

摘要：无痛理解CNN中的感受野receptive field CNN中感受野的计算 从直观上讲，感受野就是视觉感受区域的大小。在卷积神经网络中，感受野的定义是决定某一层输出结果中一个元素所对应的输入层的区域大小 感受野计算时有下面的几个情况需要说明： a)第一层卷积层的输出特征图像素的感受野的大小等于滤波 阅读全文

摘要：CS231n课程笔记翻译：神经网络笔记1（上） 一、常用激活函数 每个激活函数（或非线性函数）的输入都是一个数字，然后对其进行某种固定的数学操作。下面是在实践中可能遇到的几种激活函数： ———————————————————————————————————————— 左边是Sigmoid非线性函数， 阅读全文

摘要：Coursera吴恩达《优化深度神经网络》课程笔记（3）-- 超参数调试、Batch正则化和编程框架 1. Tuning Process 深度神经网络需要调试的超参数（Hyperparameters）较多，包括： ：学习因子 ：动量梯度下降因子 ：Adam算法参数 #layers：神经网络层数 #h 阅读全文

摘要：Coursera吴恩达《优化深度神经网络》课程笔记（1）-- 深度学习的实用层面 1. Train/Dev/Test sets 训练集（Training sets）、验证集（Development sets）、测试集（Test sets） 之前人们通常设置Train sets和Test sets的数 阅读全文

摘要：Coursera吴恩达《优化深度神经网络》课程笔记（2）-- 优化算法 深度机器学习中的batch的大小 深度机器学习中的batch的大小对学习效果有何影响？ 1. Mini-batch gradient descent SGD VS BGD VS MBGD 3. 指数加权平均（Exponentia 阅读全文

摘要：基础：逻辑回归 Logistic 回归模型的参数估计为什么不能采用最小二乘法？ logistic回归模型的参数估计问题不能“方便地”定义“误差”或者“残差”。 对单个样本： 第i层的权重W[i]维度的行等于i层神经元的个数，列等于i-1层神经元的个数；第i层常数项b[i]b[i]维度的行等于i层神经 阅读全文