hou永胜

2020年2月21日

摘要：数据增强 "1.基本概念" "2.常用增强方法" "3.叠加使用" 1.基本概念图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高阅读全文

posted @ 2020-02-21 11:15 hou永胜阅读(1092) 评论(0) 推荐(0)

动手学pytorch-优化算法

摘要：优化算法 "1.Momentum" "2.AdaGrad" "3.RMSProp" "4.AdaDelta" "5.Adam" 1.Momentum 目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，阅读全文

posted @ 2020-02-21 09:58 hou永胜阅读(892) 评论(0) 推荐(0)

2020年2月20日

动手学pytorch-梯度下降

摘要：梯度下降（ "Boyd & Vandenberghe, 2004" ）一维梯度下降证明：沿梯度反方向移动自变量可以减小函数值泰勒展开： $$ f(x+\epsilon)=f(x)+\epsilon f^{\prime}(x)+\mathcal{O}\left(\epsilon^{2}\rig 阅读全文

posted @ 2020-02-20 17:30 hou永胜阅读(618) 评论(0) 推荐(0)

动手学pytorch-凸优化

摘要：优化与深度学习优化与估计尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标：训练集损失函数值深度学习目标：测试集损失函数值（泛化性）优化在深度学习中的挑战 1. 局部最小值 2. 鞍点 3. 梯度消失局部最小值 $$ f(x) 阅读全文

posted @ 2020-02-20 15:33 hou永胜阅读(397) 评论(0) 推荐(0)

动手学pytorch-Batch Norm

摘要：批量归一化 "1.基本概念" "2.代码实现" 1.基本概念对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的阅读全文

posted @ 2020-02-20 11:49 hou永胜阅读(623) 评论(0) 推荐(0)

2020年2月19日

动手学pytorch-经典卷积神经网络模型

摘要：经典卷积神经网络 "1.LeNet" "2.AlexNet" "3.VGG" "4.NiN" "5.GoogleNet" "6.ResNet" "7.DenseNet" 1.LeNet 卷积层块里的基本单位是卷积层后接平均池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的平均池化层则用阅读全文

posted @ 2020-02-19 22:51 hou永胜阅读(535) 评论(0) 推荐(0)

2020年2月18日

动手学pytorch-卷积神经网络基础

摘要：卷积神经网络基础 "1.二维卷积层" "2.填充和步幅" "3.多输入通道和多输出通道" "4.卷积层与全连接层的对比" "5.池化" 1.二维卷积层二维互相关（cross correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称阅读全文

posted @ 2020-02-18 13:54 hou永胜阅读(464) 评论(0) 推荐(0)

动手学pytorch-Transformer代码实现

摘要： Transformer代码实现 "1.Masked softmax" "2.Multi heads attention" "3.Position wise FFN" "4.Add and Norm" "5.Position encoding" "6.Encoder block" "7.Transfo 阅读全文

posted @ 2020-02-18 10:48 hou永胜阅读(2239) 评论(0) 推荐(1)

2020年2月16日

动手学pytorch-注意力机制和Seq2Seq模型

摘要：注意力机制和Seq2Seq模型 "1.基本概念" "2.两种常用的attention层" "3.带注意力机制的Seq2Seq模型" "4.实验" 1. 基本概念 Attention 是一种通用的带权池化方法，输入由两部分构成：询问（query）和键值对（key value pairs）。$𝐤_𝑖 阅读全文

posted @ 2020-02-16 15:41 hou永胜阅读(1095) 评论(0) 推荐(0)

动手学pytorch-机器翻译

摘要：动手学pytorch 机器翻译 "1. 机器翻译与数据集" "2. Encoder Decoder" "3. Sequence to Sequence" "4. 实验" 1. 机器翻译与数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（N 阅读全文

posted @ 2020-02-16 11:14 hou永胜阅读(773) 评论(0) 推荐(0)

公告