摘要：
机器学习基础 下图就是在训练神经网络用到的基本方法：（尝试这些方法，可能有用，可能没用） 这是在训练神经网络时用到地基本方法，初始模型训练完成后，首先要知道算法的偏差高不高，如果偏差较高，试着评估训练集或训练数据的性能。如果偏差的确很高，甚至无法拟合训练集，那么要做的就是选择一个新的网络，比如含有更 阅读全文
摘要：
偏差，方差 注意到，几乎所有机器学习从业人员都期望深刻理解偏差和方差，这两个概念易学难精，即使自己认为已经理解了偏差和方差的基本概念，却总有一些意想不到的新东西出现。关于深度学习的误差问题，另一个趋势是对偏差和方差的权衡研究甚浅，可能听说过这两个概念，但深度学习的误差很少权衡二者，总是分别考虑偏差和 阅读全文
摘要：
训练，验证，测试集 在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。训练神经网络时，需要做出很多决策，例如： 神经网络分多少层 每层含有多少个隐藏单元 学习速率是多少 各层采用哪些激活函数 创建新应用的过程中，不可能从一开始就准确预测出这些信息和其他超级参数 阅读全文
摘要：
深度学习和大脑的关联性 开始讲故事（手动狗头） 深度学习和大脑有什么关联性吗？ 关联不大。 那么为什么会说深度学习和大脑相关呢？ 当你在实现一个神经网络的时候，那些公式是你在做的东西，你会做前向传播、反向传播、梯度下降法，其实很难表述这些公式具体做了什么，深度学习像大脑这样的类比其实是过度简化了我们 阅读全文
摘要：
参数 VS 超参数 什么是超参数？ 比如算法中的learning rate \(a\)（学习率）、iterations(梯度下降法循环的数量)、\(L\)（隐藏层数目）、\({{n}^{[l]}}\)（隐藏层单元数目）、choice of activation function（激活函数的选择）都需 阅读全文
摘要：
搭建神经网络块 这是一个层数较少的神经网络，选择其中一层（方框部分），从这一层的计算着手。在第\(l\)层有参数\(W^{[l]}\)和\(b^{[l]}\)，正向传播里有输入的激活函数，输入是前一层\(a^{[l-1]}\)，输出是\(a^{[l]}\)，之前讲过\(z^{[l]} =W^{[l] 阅读全文
摘要：
核对矩阵的维数 当实现深度神经网络的时候，其中一个常用的检查代码是否有错的方法就是拿出一张纸过一遍算法中矩阵的维数。 \(w\)的维度是（下一层的维数，前一层的维数），即\({{w}^{[l]}}\): (\({{n}^{[l]}}\),\({{n}^{[l-1]}}\))； \(b\)的维度是（下 阅读全文
摘要：
深层网络中的前向传播 先说对其中一个训练样本\(x\)如何应用前向传播，之后讨论向量化的版本。 第一层需要计算\({{z}^{[1]}}={{w}^{[1]}}x+{{b}^{[1]}}\)，\({{a}^{[1]}}={{g}^{[1]}} {({z}^{[1]})}\)（\(x\)可以看做\({ 阅读全文
摘要：
深层神经网络（Deep L-layer neural network） 复习下前面的内容： 1.逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边： 注意，神经网络的层数是这么定义的：从左到右，由0开始定义，比如上边右图，\({x}_{1}\)、\({x}_{2}\)、\({x}_{3}\ 阅读全文
摘要：
当训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为0当然也是可以的。但是对于一个神经网络，如果把权重或者参数都初始化为0，那么梯度下降将不会起作用。 来看看这是为什么。 有两个输入特征，\(n^{[0]} = 2\)，2个隐藏层单元\(n^{[1]}\)就等于2。 因此与一个隐 阅读全文