摘要： Batch normalization + ReLU 批归一化（BN）可以抑制梯度爆炸/消失并加快训练速度 原论文认为批归一化的原理是：通过归一化操作使网络的每层特征的分布尽可能的稳定，从而减少Internal Covariate Shift relu是目前应用最为广泛的激活函数， 由于其梯度要么是 阅读全文

摘要： 深度学习的基本问题是：学习一个由x到y的映射f 如果y是连续向量，则为回归问题 如果y是离散值，则为分类问题 如果y是随机变量，则为生成问题 为了学习这个映射f，首先要准备好一个映射库 然后依据大量的数据，从映射库中搜索最接近目标映射f的假设h 这个搜索方法往往称为机器学习算法 阅读全文

摘要： 参考链接：40 卷积神经网络的结构3(多输入通道和多输出通道,池化层)_哔哩哔哩_bilibili 来源：https://blog.csdn.net/sinat_32043495/article/details/78841553 全连接层 / FC layer 两层之间所有神经元都有权重连接 通常全 阅读全文

摘要： 如果只需要获取一张屏幕截图，不对其进行编辑的话，那么键盘的默认快捷键就可以满足要求了。而且不仅仅是 Ubuntu ，绝大部分的 Linux 发行版和桌面环境都支持以下这些快捷键： PrtSc – 获取整个屏幕的截图并保存到 Pictures 目录。 Shift + PrtSc – 获取屏幕的某个区域 阅读全文

摘要： 深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。 第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度 阅读全文

摘要： 数据预处理方式 zero-center ,这个挺常用的.X -= np.mean(X, axis = 0) # zero-centerX /= np.std(X, axis = 0) # normalize PCA whitening,这个用的比较少. 训练技巧 要做梯度归一化,即算出来的梯度除以m 阅读全文

摘要： 为什么说Dropout可以解决过拟合？ （1）取平均的作用： 先回到标准的模型即没有dropout，我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。例如3个网络判断结果为数字9,那么很有可能真正的结 阅读全文

摘要： transpose()中三个轴编号的位置变化理解 transpose(a,b,c)其中a轴编号即为参考编号，垂直于a的平面即为所有平面，该平面上的数据再根据b,c相对于（0,1，2）的位置关系进行改变，下面以实例举例说明 A.transpose(0,1,2)对应的就是arr数组原形 In [8]: 阅读全文

摘要： 1.SGD的难处： 考虑z=1/20*x2+y2图像， 等高线图和负梯度方向： 假设从（-7,2）这一点开始进行梯度更新（下降）： learningrate=0.9; x-=0.9*(1/10)*x (1) y-=0.9*2*y (2) 把（-7,2）这一点带入（1）和（2）式中，得到一个新的(x, 阅读全文

摘要： (1 封私信 / 44 条消息) 如何通俗地解释泰勒公式？ - 知乎 (zhihu.com) 泰勒：任何函数都可以展开成多项幂函数的和的形式。 sinx晚上取听相声去了，回来后，cosx不认识他了，因为他听相声听的太乐了（泰勒了），乐开了花，就展开了。 对于可导函数，它有一个完全等价的，但是更高层次 阅读全文