摘要：
1 激活函数（Activation functions） 之前用过 sigmoid 函数,sigmoid 函数在这里被称为激活函数,公式为： 更通常的情况下，使用不同的函数g(z[1])，g可以是除了 sigmoid 函数意外的非线性函数 ，效果总是优于 sigmoid 函数，因为函数值域在-1 和 阅读全文
posted @ 2021-07-25 15:40
zhang-X
阅读(1581)
评论(0)
推荐(0)
摘要：
1 神经网络 1.1 浅层神经网络 如上所示，首先你需要输入特征x，参数w和b，通过这些你就可以计算出z,接下来使用z就可以计算出a,我们将的符号换为表示输出y^ ⟹ a = σ(z),然后可以计算出 loss function L(a, y) 1.2 神经网络的表示（Neural Network 阅读全文
posted @ 2021-07-25 15:33
zhang-X
阅读(344)
评论(0)
推荐(0)
摘要：
训练神经网络，其中一个加速训练的方法就是归一化输入，归一化需要两个步骤：（1）零均值u；（2）归一化方差σ2。 第一步是零均值化，，它是一个向量，x等于每个训练数据 x减去u，意思是移动训练集，直到它完成零均值化。 第二步是归一化方差，注意特征x1的方差比特征x2的方差要大得多，我们要做的是给σ赋值 阅读全文
posted @ 2021-07-25 15:25
zhang-X
阅读(511)
评论(0)
推荐(0)
摘要：
1 正则化（Regularization） 深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据。在逻辑回归函数中加入正则化，只需添加参数 λ，λ是正则化参数，我们通常使用验证集或交叉验证集来配置这个参数，尝试各种各样的数据，寻找最好的参数，我们要考虑训练集之间 阅读全文
posted @ 2021-07-25 15:23
zhang-X
阅读(1021)
评论(0)
推荐(0)
摘要：
1 深度学习的实践层面(Practical aspects of Deep Learning) 1.1 训练，验证，测试集（Train / Dev / Test sets） 训练神经网络时，我们需要做出很多决策，例如：神经网络分多少层；每层含有多少个隐藏单元；学习速率是多少；各层采用哪些激活函数。对 阅读全文
posted @ 2021-07-25 15:18
zhang-X
阅读(982)
评论(0)
推荐(0)
摘要：
Mini-batch 梯度下降（Mini-batch gradient descent） 向量化能够让你相对较快地处理所有m个样本。如果m很大的话，处理速度仍然缓慢，如果m是 500 万或 5000 万或者更大的一个数，在对整个训练集执行梯度下降法时，你要做的是，你必须处理整个训练集，然后才能进行一 阅读全文
posted @ 2021-07-25 15:13
zhang-X
阅读(153)
评论(0)
推荐(0)
浙公网安备 33010602011771号