摘要： 1. TensorFlow的运行：define + run ->先定义后运行 define：定义流程图 run：运行 例子：两层神经网络 + Relu + L2 迭代多次，利用梯度更新权值： 阅读全文

摘要： 1. 迁移学习：利用已经训练过的用于解决问题A的模型，加上一部分问题B的数据集，对神经网络的大部分层进行冻结，即不改变参数，对模型进行训练，得到一个用于解决问题B的模型 △迁移学习的实质：找到源领域和目标领域之间的相似性，并加以合理利用；迁移学习的前提是两个任务之间存在共性 △迁移学习的策略： ①冻 阅读全文

摘要： 1. Data Augmentation：对数据进行增强，即对已有的数据进行翻转、平移或旋转等，得到更多的数据，避免过拟合，使得神经网络具有更好的泛化效果 ①基本的操作： 随机组合： （1）翻转 （2）旋转 （3）拉伸 （4）剪切 （5）镜头扭曲 ②更复杂的操作： （1）应用PCA （2）色彩偏移 阅读全文

摘要： 1. Dropout：是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃（使其暂时不工作），使一部分神经元工作，使另一部分神经元不工作；没有被删除的部分的参数得到更新，被删除的神经元参数保持之前的状态，此次训练过程中暂时不参加神经网络的计算，不更新权值，以达到避免过 阅读全文

摘要： 1. SGD的不足： ①呈“之”字型，迂回前进，损失函数值在一些维度的改变得快（更新速度快），在一些维度改变得慢（速度慢）- 在高维空间更加普遍 ②容易陷入局部极小值和鞍点： 局部最小值： 鞍点： ③对于凸优化而言，SGD不会收敛，只会在最优点附近跳来跳去 - 可以通过使用不固定的learning 阅读全文

摘要： 1. 批量归一化（Batch Normalization）：为了让数据在训练过程中保持同一分布，在每一个隐藏层进行批量归一化。对于每一个batch，计算该batch的均值与方差，在将线性计算结果送入激活函数之前，先对计算结果进行批量归一化处理，即减均值、除标准差，保证计算结果符合均值为0，方差为1的 阅读全文

摘要： 1. 零均值化 / 中心化：对输入图片进行预处理，计算训练数据中所有图片的每个位置的均值，然后每张图片的元素减自己位置对应的均值。零均值化后的图片以（0，0）为中心，所有图片的对应位置的元素均值为0 PCA和白化： 2. 为什么要对数据零均值化？ 为了在反向传播中加快网络中每一层权重参数的收敛（这是 阅读全文

摘要： 1. 激活函数：激活函数是指在人工神经网络的神经元中，将输入映射到输出端的非线性函数。激活函数通常是非线性的，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，可以应用到非线性模型中。 一般进行线性操作后，就将线性操作的结果放入激活函数中映射。在CNN中，运算顺序通常是卷积 阅读全文

摘要： 1. 池化层：由1个filter组成，对图片 / 输入矩阵进行空间上的降采样处理，压缩图像的高度和宽度。池化层的filter不是用来得到feature map，而是用来获取filter范围内的特定值。池化层的filter并不设置特定的权值，通常只是用来获取感受野范围内的最大值或平均值。 降采样处理： 阅读全文

摘要： 1. 卷积层（Convolution Layer）：由若干个卷积核f（filter）和偏移值b组成，（这里的卷积核相当于权值矩阵），卷积核与输入图片进行点积和累加可以得到一张feature map。 卷积层的特征： （1）网络局部连接：卷积核每一次仅作用于图片的局部 （2）卷积核权值共享：一个卷积层 阅读全文