摘要：
避免过拟合的基本方法之一是从数据源获得更多数据，当训练数据有限时，可以通过数据增强（data augmentation）变换原有的数据生成新的数据来扩大训练集。即使拥有大量数据，进行数据增强也是有必要的，因为可以防止神经网络学习到不相干的模式，从根本上提升整体性能。还要注意在使用增强技术的同时，必须 阅读全文
摘要：
一、介绍 本篇文章，我们将讨论所谓的“维度灾难”，并解释在设计一个分类器时它为何如此重要。在下面几节中我将对这个概念进行直观的解释，并通过一个由于维度灾难导致的过拟合的例子来讲解。 考虑这样一个例子，我们有一些图片，每张图片描绘的是小猫或者小狗。我们试图构建一个分类器来自动识别图片中是猫还是狗。要做 阅读全文
摘要：
一、现象介绍 靠近输出层的hidden layer 梯度大，参数更新快，所以很快就会收敛； 而靠近输入层的hidden layer 梯度小，参数更新慢，几乎就和初始状态一样，随机分布。 这种现象就是梯度弥散（vanishing gradient problem）。 而在另一种情况中，前面layer的 阅读全文
摘要：
论文地址：https://arxiv.org/pdf/1504.08083.pdf 翻译请移步：https://blog.csdn.net/ghw15221836342/article/details/79549500 背景问题： 1、R-CNN网络训练、测试速度都很慢：R-CNN网络中，一张图经由 阅读全文
摘要：
1. 激活函数作用 如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非 阅读全文
摘要：
一、MSE 损失函数推导 前向传播过程： 梯度反向传播公式推导： 定义残差： 则 残差推导如下： 对于最后一层： 广义上，左边项（-（···））是定义的损失函数对其输入（即最后一层神经元值）的导数，右项是sigmoind求导，这两项都是根据实际使用可以替换的。 对于隐藏层： 若去掉下标i，则有 其中 阅读全文