随笔分类 -  深度学习

摘要：一、RNN的作用和粗略介绍： RNN可解决的问题： 训练样本输入是连续的序列,且序列的长短不一，比如基于时间的序列：一段段连续的语音，一段段连续的手写文字。这些序列比较长，且长度不一，比较难直接的拆分成一个个独立的样本来通过DNN/CNN进行训练。 T个时间步： 我们先来看单个RNN cell: 简 阅读全文

摘要：一、为什么选择序列模型 （1）序列模型广泛应用于语音识别【多对多】，音乐生成【一对多】，情感分析【多对一】，DNA序列分析，机器翻译【多对多，个数不同】，视频行为识别，命名实体识别等众多领域。 （2）上面那些问题可以看成使用（x，y）作为训练集的监督学习，但是输入与输出的对应关系有非常多的组合，比如 阅读全文

摘要：一、梯度不稳定问题： 什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。 原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。 二、梯度消失（vanishing gradient proble 阅读全文

摘要：神经网络的优化方法： 1、学习率的设置（指数衰减） 2、过拟合问题（Dropout） 3、滑动平均模型（参数更新，使模型在测试数据上更鲁棒） 4、批标准化（解决网络层数加深而产生的问题 如梯度弥散，爆炸等） 一、学习率的设置 指数衰减方法 通过指数衰减的方法设置GD的学习率。该方法可让模型在训练的前 阅读全文

摘要：一、TensorFlow中的优化器 tf.train.GradientDescentOptimizer：梯度下降算法 tf.train.AdadeltaOptimizer tf.train.AdagradOptimizer tf.train.MomentumOptimizer：动量梯度下降算法 tf 阅读全文

摘要：一、分类、定位和检测 简单来说，分类、定位和检测的区别如下： 分类：是什么？ 定位：在哪里？是什么？（单个目标） 检测：在哪里？分别是什么？（多个目标） (1)目标分类 (2)目标定位 (3)目标检测 二、目标定位： 1）案例1：在构建自动驾驶时，需要定位出照片中的行人、汽车、摩托车和背景，即四个类 阅读全文

摘要：卷积层要提升表达能力，主要依靠增加输出通道数，副作用是计算量增大和过拟合。 一、历史过程： 二、经典网络 1、LeNet：两层卷积+池化，两层全连接 2、AlexNet：5个卷积层、5个池化层、3个全连接层【大约5000万个参数】，最后一个全连接层输出到一个1000维的softmax层，产生一个10 阅读全文

摘要：卷积层： 神经网络通过参数共享、稀疏连接减少参数。 一、过滤器：卷积【参数共享加稀疏连接，故参数较少，而全连接参数较大】 卷积：过滤器、边缘检测器：常用奇数维 举例说明： 左边矩阵中间有一个垂直线，10和0之间。 通过卷积过滤器，也可叫垂直检测器，得到右边矩阵，右边矩阵30可看做检测出来的边缘。 可 阅读全文

摘要：一、训练集、验证集和测试集 传统的机器学习的切分：【小数量，百、千、万】 70%的训练集、30%的测试集 60%的训练集、20%验证集和20%的测试集 大数据时代：【百万、千万、亿】 验证集的目的是验证不同的算法，检验哪种算法有效。 百万：98%训练，1%验证，1%测试 超过百万：99.5%训练，0 阅读全文

摘要：一、什么是深度神经网络 浅层神经网络：一个逻辑回归是一个浅层的神经网络，最简单的神经网络是包含一个隐藏层的双层神经网络【不含输入层】， 深层神经网络是一个包含多层隐藏层的神经网络。 二、深层神经网络和浅层神经网络的比较 计算y = x1 xor x2 xor x3 …… xor xn，x1异或到xn 阅读全文

只有注册用户登录后才能阅读该文。