随笔分类 - 深度学习
摘要：1向量化 向量化是非常基础的去除代码中 for 循环的艺术，减少运行时间，在python中使用np.dot()进行向量化。 （1）代码举例 import time #为了计算不同方法的使用时间 a=np.random.rand(1000000) #用随机值创建了一个百万维度的数组 b=np.rand
阅读全文
摘要：比如算法中的 learning rate α（学习率）、iterations(梯度下降法循环的数量)、L（隐藏层数目）、n[l]（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要你自己来设置，这些数字实际上控制了最后的参数w和b的值，所以它们被称作
阅读全文
摘要：1 深层神经网络 1.1 深层神经网络（Deep L-layer neural network） 严格上来说逻辑回归也是一个一层的神经网络，有一个隐藏层的神经网络，就是一个两层神经网络，当我们算神经网络的层数时，我们不算输入层，我们只算隐藏层和输出层。 上图是一个四层的神经网络，有三个隐藏层，我们可
阅读全文
摘要：随机初始化（Random+Initialization） 当你训练神经网络时，权重随机初始化是很重要的，如果你把权重或者参数都初始化为 0，那么梯度下降将不会起作用，是如果你这样初始化这个神经网络，那么这两个隐含单元就会完全一样，因此他们完全对称，也就意味着计算同样的函数，并且肯定的是最终经过每次训
阅读全文
摘要：1 激活函数（Activation functions） 之前用过 sigmoid 函数,sigmoid 函数在这里被称为激活函数,公式为： 更通常的情况下，使用不同的函数g(z[1])，g可以是除了 sigmoid 函数意外的非线性函数 ，效果总是优于 sigmoid 函数，因为函数值域在-1 和
阅读全文
摘要：1 神经网络 1.1 浅层神经网络 如上所示，首先你需要输入特征x，参数w和b，通过这些你就可以计算出z,接下来使用z就可以计算出a,我们将的符号换为表示输出y^ ⟹ a = σ(z),然后可以计算出 loss function L(a, y) 1.2 神经网络的表示（Neural Network
阅读全文
摘要：训练神经网络，其中一个加速训练的方法就是归一化输入，归一化需要两个步骤：（1）零均值u；（2）归一化方差σ2。 第一步是零均值化，，它是一个向量，x等于每个训练数据 x减去u，意思是移动训练集，直到它完成零均值化。 第二步是归一化方差，注意特征x1的方差比特征x2的方差要大得多，我们要做的是给σ赋值
阅读全文
摘要：1 正则化（Regularization） 深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据。在逻辑回归函数中加入正则化，只需添加参数 λ，λ是正则化参数，我们通常使用验证集或交叉验证集来配置这个参数，尝试各种各样的数据，寻找最好的参数，我们要考虑训练集之间
阅读全文
摘要：1 深度学习的实践层面(Practical aspects of Deep Learning) 1.1 训练，验证，测试集（Train / Dev / Test sets） 训练神经网络时，我们需要做出很多决策，例如：神经网络分多少层；每层含有多少个隐藏单元；学习速率是多少；各层采用哪些激活函数。对
阅读全文
摘要：Mini-batch 梯度下降（Mini-batch gradient descent） 向量化能够让你相对较快地处理所有m个样本。如果m很大的话，处理速度仍然缓慢，如果m是 500 万或 5000 万或者更大的一个数，在对整个训练集执行梯度下降法时，你要做的是，你必须处理整个训练集，然后才能进行一
阅读全文
摘要：1 逻辑回归 逻辑回归是一个用于二分类(binary classification)的算法，以在二分类问题中，我们的目标就是习得一个分类器，它以图片的特征向量作为输入，然后预测输出结果 y 为 1 还是 0。 逻辑回归的公式定义如下： 损失函数： 代价函数： 1.1逻辑回归模型 对于二元分类问题来讲
阅读全文
摘要：对于图像应用，我们经常在神经网络上使用卷积（Convolutional Neural Network），通常缩写为 CNN。 对于序列数据，例如音频，有一个时间组件，随着时间的推移，音频被播放出来，经常使用 RNN，一种递归神经网络（Recurrent Neural Network），递归神经网络(
阅读全文
浙公网安备 33010602011771号