摘要:1. TensorFlow的运行:define + run ->先定义后运行 define:定义流程图 run:运行 例子:两层神经网络 + Relu + L2 迭代多次,利用梯度更新权值: 阅读全文
posted @ 2020-02-10 17:40 北冥有鱼兮 阅读 (3) 评论 (0) 编辑
摘要:1. 迁移学习:利用已经训练过的用于解决问题A的模型,加上一部分问题B的数据集,对神经网络的大部分层进行冻结,即不改变参数,对模型进行训练,得到一个用于解决问题B的模型 △迁移学习的实质:找到源领域和目标领域之间的相似性,并加以合理利用;迁移学习的前提是两个任务之间存在共性 △迁移学习的策略: ①冻 阅读全文
posted @ 2020-02-10 17:25 北冥有鱼兮 阅读 (2) 评论 (0) 编辑
摘要:1. Data Augmentation:对数据进行增强,即对已有的数据进行翻转、平移或旋转等,得到更多的数据,避免过拟合,使得神经网络具有更好的泛化效果 ①基本的操作: 随机组合: (1)翻转 (2)旋转 (3)拉伸 (4)剪切 (5)镜头扭曲 ②更复杂的操作: (1)应用PCA (2)色彩偏移 阅读全文
posted @ 2020-02-05 22:33 北冥有鱼兮 阅读 (9) 评论 (0) 编辑
摘要:1. Dropout:是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃(使其暂时不工作),使一部分神经元工作,使另一部分神经元不工作;没有被删除的部分的参数得到更新,被删除的神经元参数保持之前的状态,此次训练过程中暂时不参加神经网络的计算,不更新权值,以达到避免过 阅读全文
posted @ 2020-02-05 22:11 北冥有鱼兮 阅读 (18) 评论 (0) 编辑
摘要:1. SGD的不足: ①呈“之”字型,迂回前进,损失函数值在一些维度的改变得快(更新速度快),在一些维度改变得慢(速度慢)- 在高维空间更加普遍 ②容易陷入局部极小值和鞍点: 局部最小值: 鞍点: ③对于凸优化而言,SGD不会收敛,只会在最优点附近跳来跳去 - 可以通过使用不固定的learning 阅读全文
posted @ 2020-02-05 01:28 北冥有鱼兮 阅读 (25) 评论 (0) 编辑
摘要:1. 批量归一化(Batch Normalization):为了让数据在训练过程中保持同一分布,在每一个隐藏层进行批量归一化。对于每一个batch,计算该batch的均值与方差,在将线性计算结果送入激活函数之前,先对计算结果进行批量归一化处理,即减均值、除标准差,保证计算结果符合均值为0,方差为1的 阅读全文
posted @ 2020-01-31 18:18 北冥有鱼兮 阅读 (9) 评论 (0) 编辑
摘要:1. 零均值化 / 中心化:对输入图片进行预处理,计算训练数据中所有图片的每个位置的均值,然后每张图片的元素减自己位置对应的均值。零均值化后的图片以(0,0)为中心,所有图片的对应位置的元素均值为0 PCA和白化: 2. 为什么要对数据零均值化? 为了在反向传播中加快网络中每一层权重参数的收敛(这是 阅读全文
posted @ 2020-01-31 00:55 北冥有鱼兮 阅读 (21) 评论 (0) 编辑
摘要:1. 激活函数:激活函数是指在人工神经网络的神经元中,将输入映射到输出端的非线性函数。激活函数通常是非线性的,激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,可以应用到非线性模型中。 一般进行线性操作后,就将线性操作的结果放入激活函数中映射。在CNN中,运算顺序通常是卷积 阅读全文
posted @ 2020-01-30 18:11 北冥有鱼兮 阅读 (10) 评论 (0) 编辑
摘要:1. 池化层:由1个filter组成,对图片 / 输入矩阵进行空间上的降采样处理,压缩图像的高度和宽度。池化层的filter不是用来得到feature map,而是用来获取filter范围内的特定值。池化层的filter并不设置特定的权值,通常只是用来获取感受野范围内的最大值或平均值。 降采样处理: 阅读全文
posted @ 2020-01-30 16:30 北冥有鱼兮 阅读 (14) 评论 (0) 编辑
摘要:1. 卷积层(Convolution Layer):由若干个卷积核f(filter)和偏移值b组成,(这里的卷积核相当于权值矩阵),卷积核与输入图片进行点积和累加可以得到一张feature map。 卷积层的特征: (1)网络局部连接:卷积核每一次仅作用于图片的局部 (2)卷积核权值共享:一个卷积层 阅读全文
posted @ 2020-01-30 03:24 北冥有鱼兮 阅读 (24) 评论 (0) 编辑