随笔分类 - 深度学习
深度学习的学习经验
摘要：博客作者：凌逆战 博客地址：https://www.cnblogs.com/LXP-Never/p/10940123.html 这篇文章主要介绍使用Keras框架来实现RNN家族模型，TensorFlow实现RNN的代码可以参考我的另外一篇博客：TensorFlow中实现RNN，彻底弄懂time_s
阅读全文
摘要：作为损失函数 L1范数损失函数 L1范数损失函数，也被称之为平均绝对值误差（MAE）。总的来说，它把目标值$y(n)$与估计值$\hat{y}(n)$的绝对差值的总和最小化。 $$Loss_{MAE}=\frac{1}{N}\sum_{n=1}^N|y(n)-\hat{y}(n)|$$ # tens
阅读全文
摘要：记得刚开始学TensorFlow的时候，那给我折磨的呀，我一直在想这个TensorFlow官方为什么搭建个网络还要画什么静态图呢，把简单的事情弄得麻烦死了，直到这几天我开始接触Pytorch，发现Pytorch是就是不用搭建静态图的Tensorflow版本，就想在用numpy一样，并且封装了很多深度
阅读全文
摘要：作者：凌逆战 博客地址：https:////www.cnblogs.com/LXP-Never/p/11614053.html 从事深度学习的研究者都知道，深度学习代码需要设计海量的数据，需要很大很大很大(重要的事情说三遍)的计算量，以至于CPU算不过来，需要通过GPU帮忙，但这必不意味着CPU的性
阅读全文
摘要：我们以MNIST手写数字识别为例 载入初次训练的模型，再训练 关于compile和load_model()的使用顺序 这一段落主要是为了解决我们fit、evaluate、predict之前还是之后使用compile。想要弄明白，首先我们要清楚compile在程序中是做什么的？都做了什么？ compi
阅读全文
摘要：神经网络就是一种特殊的自编码器，区别在于自编码器的输出和输入是相同的，是一个自监督的过程，通过训练自编码器，得到每一层中的权重参数，自然地我们就得到了输入x的不同的表示（每一层代表一种）这些就是特征，自动编码器就是一种尽可能复现原数据的神经网络。 “自编码”是一种数据压缩算法，其中压缩和解压缩过程是
阅读全文
摘要：众所周知神经网络单元是由线性单元和非线性单元组成的，一般神经网络的计算时线性的，而非线性单元就是我们今天要介绍的--激活函数，不同的激活函数得出的结果也是不同的。他们也各有各的优缺点，虽然激活函数有自己的发展历史，不断的优化，但是如何在众多激活函数中做出选择依然要看我们所实现深度学习实验的效果。 这
阅读全文
摘要：深度神经网络难训练一个重要的原因就是深度神经网络涉及很多层的叠加，每一层的参数变化都会导致下一层输入数据分布的变化，随着层数的增加，高层输入数据分布变化会非常剧烈，这就使得高层需要不断适应低层的参数更新。为了训练好模型，我们需要谨慎初始化网络权重，调整学习率等。 本篇博客总结几种Normalizat
阅读全文
摘要：作者：凌逆战 博客园地址：https://www.cnblogs.com/LXP-Never/p/11543152.html char RNN代码来源于https://github.com/hzy46/Char-RNN-TensorFlow 前言 本人在学习char RNN的过程中，遇到了很多的问题
阅读全文
摘要：tensortlfow数据读取有三种方式 placehold feed_dict：从内存中读取数据，占位符填充数据 queue队列：从硬盘读取数据 Dataset：同时支持内存和硬盘读取数据 placehold-feed_dict 先用placehold 占位数据，在Graph中读取数据，数据直接内
阅读全文
摘要：这篇博客不是一篇讲解原理的博客，这篇博客主要讲解tnesorlfow的RNN代码结构，通过代码来学习RNN，以及讲解time_steps，如果这篇博客没有让你明白time_steps，欢迎博客下面评论交流。 我曾翻阅各大网站，各大博客，他们的对RNN中time_steps的讲解，都没有一个让人醍醐灌
阅读全文
摘要：MNIST手写数字集 MNIST是一个由美国由美国邮政系统开发的手写数字识别数据集。手写内容是0~9，一共有60000个图片样本，我们可以到MNIST官网免费下载，总共4个.gz后缀的压缩文件，该文件是二进制内容。 文件名 大小 用途 train-images-idx3-ubyte.gz 9.45M
阅读全文
摘要：作者：凌逆战 地址：https://www.cnblogs.com/LXP-Never/p/10763804.html 在看这两个函数之前，我们需要先了解一维卷积(conv1d)和二维卷积(conv2d)，二维卷积是将一个特征图在width和height两个方向进行滑动窗口操作，对应位置进行相乘求和
阅读全文
摘要：前言 对于传统的深度学习网络应用来说，网络越深，所能学到的东西越多。当然收敛速度也就越慢，训练时间越长。但是如果简单地增加深度，会导致梯度弥散或梯度爆炸。对于该问题的解决方法是正则化初始化和在中间加入Batch Normalization，这样的话可以训练几十层的网络。 虽然通过上述方法 深层网络能
阅读全文
摘要：我们之前所学的全连接神经网络(DNN)和卷积神经网络(CNN)，他们的前一个输入和后一个输入是没有关系的。但是当我们处理序列信息的时候，某些前面的输入和后面的输入是有关系的，比如：当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；这个时候我们就需要使用
阅读全文
摘要：用Keras定义网络模型有两种方式， Sequential 顺序模型 Keras 函数式 API模型 之前我们介绍了Sequential顺序模型，今天我们来接触一下 Keras 的函数式API模型。 函数式API:全连接网络 多输入多输出模型 主要负责用函数式API来实现它 主要输入接收新闻标题本身
阅读全文
摘要：keras是基于tensorflow封装的的高级API，Keras的优点是可以快速的开发实验，它能够以TensorFlow, CNTK, 或者 Theano 作为后端运行。 模型构建 最简单的模型是 Sequential 顺序模型，它由多个网络层线性堆叠。对于更复杂的结构，你应该使用 Keras 函
阅读全文
摘要：博客地址：https://www.cnblogs.com/LXP-Never/p/10008693.html 博客作者：凌逆战 本教程对应的tensorflow版本为：tensorflow 1版本 简介 深度学习的框架有很多：TensorFlow、Caffe、Theano、Torch...Tenso
阅读全文
摘要：“sample”“batch”“epoch” Sample：样本，比如：一张图像是一个样本，一段音频也是一个样本。 Batch：批，含有N个样本的集合。每一个batch的样本都是独立的并行处理。在训练是，一个batch的结果只会用来更新一次模型。 Epoch：轮次，通常通常定义为 [在整个数据集上的
阅读全文
摘要：神经网络不是具体的算法，而是一种模型构造的思路或者方式，全连接神经网络每一个神经元节点的输入都来自于上一层的每个神经元的输出，好处在于每个输入维度的信息都会传播到其后的任意一个结点中去，会最大程度地让整个网络中的节点都不会“漏掉”这个维度所贡献的因素。不过他的缺点更加明显，那就是整个网络由于都是“全
阅读全文
浙公网安备 33010602011771号