摘要： 为什么正则化有利于预防过拟合，为什么它可以减少方差问题？ 下面通过两个例子来直观体会。 下面的图中，左图是高偏差，右图是高方差，中间的是just right 现在我们来看看一个庞大的深度拟合神经网络，下面的网络不够大，深度也不够，但你可以想象这是一个过拟合的神经网络， 我们的代价函数J含有参数w和b 阅读全文

摘要： 如果你怀疑神经网络过度拟合的数据，即存在高方差的问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，但是你可能无法时时准备足够多的训练数据，或者获取更多数据的代价很高。但正则化通常有助于避免过拟合或者减少网络误差，下面介绍正则化的作用原理。 我们用逻辑回归来实现这些设想。 阅读全文

摘要： 这是我在训练神经网络时用到的基本方法 初始模型训练完成后，我们首先要知道算法的偏差高不高。如果偏差较高，试着评估训练集或者训练数据的性能，如果偏差确实很高，甚至无法拟合训练集，那么你要做的就是选择一个新的更大的网络，比如含有更多隐藏层或者隐藏单元的网络，或者花费更多时间来训练网络（整个方法可能有用， 阅读全文