Assange

摘要： 1.了解不同优化器 2.书写优化器代码3.Momentum4.二维优化，随机梯度下降法进行优化实现5.Ada自适应梯度调节法6.RMSProp7.Adam8.PyTorch种优化器选择 梯度下降法： 1.标准梯度下降法：GD每个样本都下降一次，参考当前位置的最陡方向迈进容易得到局部最优，且训练速度慢 阅读全文

摘要： 1.了解知道Dropout原理 深度学习网路中，参数多，可能出现过拟合及费时问题。为了解决这一问题，通过实验，在2012年，Hinton在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提 阅读全文

摘要： 1.引入模块，读取数据 2.构建计算图（构建网络模型） 3.损失函数与优化器 4.开始训练模型 5.对训练的模型预测结果进行评估 这里说明一下，这个dataset不是自带的，需要大家自己去下载，我找的时候费了不少功夫，这里提供一个网址给大家下载https://github.com/LianHaiMi 阅读全文

摘要： 1.PyTorch基础实现代码 2.用PyTorch类实现Logistic regression,torch.nn.module写网络结构 参考：https://blog.csdn.net/ZZQsAI/article/details/90216593 阅读全文

摘要： 1.numpy和pytorch实现梯度下降法 torch 2.设定初始值 神经网络的权重初始化方法对模型的收敛速度和性能有着至关重要的影响。主要有四种权重初始化方法： 把w初始化为0 在线性回归，logistics回归中，基本上把参数初始化为0，模型也能很好的工作。但是在神经网络中，这种方法是不可行 阅读全文

摘要： 1.什么是Pytorch，为什么选择Pytroch？ PyTorch的前身便是Torch，其底层和Torch框架一样，但是使用Python重新写了很多内容，不仅更加灵活，支持动态图，而且提供了Python接口。是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网 阅读全文

摘要： Transformer原理 论文地址：Attention Is All You Need：https://arxiv.org/abs/1706.03762 Transformer是一种完全基于Attention机制来加速深度学习训练过程的算法模型。Transformer最大的优势在于其在并行化处理上 阅读全文

摘要： 注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。 图1 人类的视觉注意力 从注意力模型的命名方式看，很明显其借鉴了人类的注意 阅读全文

摘要： RNN提出的背景： RNN通过每层之间节点的连接结构来记忆之前的信息，并利用这些信息来影响后面节点的输出。RNN可充分挖掘序列数据中的时序信息以及语义信息，这种在处理时序数据时比全连接神经网络和CNN更具有深度表达能力，RNN已广泛应用于语音识别、语言模型、机器翻译、时序分析等各个领域。 RNN的训 阅读全文

摘要： 卷积定义： 所谓卷积，其实是一种数学运算。但是在我们的学习生涯中，往往它都是披上了一层外衣，使得我们经常知其然不知其所以然。比如在信号系统中，他是以一维卷积的形式出现描述系统脉冲响应。又比如在图像处理中，他是以二维卷积的形式出现，可以对图像进行模糊处理。乍一看，两个形式风马牛不相及，但其实他们的本质 阅读全文