摘要： 除了L2正则化和dropout正则化，还有几种方法可以减少神经网络中的过拟合。 1. 数据增强 假设你正在训练一个猫咪图片的分类器，如果你想通过扩增数据集（即收集更多的数据）来解决过拟合，这种方法是可行的，但是扩增训练数据代价高，而且有时候我们很难收集到更多的数据。但是我们可以通过添加这类图片来增加 阅读全文

摘要： 论文下载：http://arxiv.org/abs/1506.02640 代码下载：https://github.com/pjreddie/darknet Abstract 作者提出一种新的目标检测方法YOLO。在此之前，目标检测的任务一般会转换成一个分类问题，即首先通过某种方式（如region p 阅读全文

摘要： Dropout为什么有正则化的作用？ 下面来直观理解一下。 上面讲到，dropout每次迭代都会让一部分神经元失活，这样使得神经网络会比原始的神经网络规模变小，因此采用一个较小神经网络好像和使用正则化的效果是一样的。 第二个直观认识是 我们从单个神经元入手，这个单元的工作就是输入并生成一些有意义的输 阅读全文

摘要： 除了L2正则化，还有一个非常实用的正则化方法 dropout（随机失活），下面介绍其工作原理。 假设你在训练下图左边的这样的神经网络，它存在过拟合情况，这就是dropout所要处理的。我们复制这个神经网络，dropout会遍历网络每一层，并设置一个消除神经网络中节点的概率。 假设网络中的每一层，每个 阅读全文

摘要： 为什么正则化有利于预防过拟合，为什么它可以减少方差问题？ 下面通过两个例子来直观体会。 下面的图中，左图是高偏差，右图是高方差，中间的是just right 现在我们来看看一个庞大的深度拟合神经网络，下面的网络不够大，深度也不够，但你可以想象这是一个过拟合的神经网络， 我们的代价函数J含有参数w和b 阅读全文

摘要： 如果你怀疑神经网络过度拟合的数据，即存在高方差的问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，但是你可能无法时时准备足够多的训练数据，或者获取更多数据的代价很高。但正则化通常有助于避免过拟合或者减少网络误差，下面介绍正则化的作用原理。 我们用逻辑回归来实现这些设想。 阅读全文

摘要： 这是我在训练神经网络时用到的基本方法 初始模型训练完成后，我们首先要知道算法的偏差高不高。如果偏差较高，试着评估训练集或者训练数据的性能，如果偏差确实很高，甚至无法拟合训练集，那么你要做的就是选择一个新的更大的网络，比如含有更多隐藏层或者隐藏单元的网络，或者花费更多时间来训练网络（整个方法可能有用， 阅读全文

摘要： 假设下面的是数据集 对于上图左边，如果给这个数据集拟合一条直线，可能得到一个逻辑回归拟合，但是这条直线并不能很好的拟合数据，这就是偏差高（high bias）的情况，我们称之为欠拟合；相反，如果我们拟合一个非常复杂的分类器，比如深度神经网络或者含有隐藏单元的神经网络，可能就非常适用于这个数据集，但是 阅读全文

摘要： “Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》。 文章主要的目标就是使得每一层输出的方差应该尽量相等。下面 阅读全文

摘要： 在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。在训练神经网络时，我们需要做出很多决策，比如，神经网络分多少层，每层含有多少个隐藏单元，学习率是多少，各层采用哪些激活函数。创建新应用的过程中，我们不可能从一开始就准确预测出这些信息，和其他超参数。实际上，应用 阅读全文