随笔分类 - 深度学习和TensorFlow框架
介绍深度学习框架和深度学习相关知识
摘要：一、前述 CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比。 二、CNN与RNN对比 1、CNN卷积神经网络与RNN递归神经网络直观图 2、相同点： 2.1. 传统神经网络的扩展。 2.2. 前向计算产生结果，反向计算模型更新。 2
阅读全文
摘要：一、前述 一直以为自己的笔记本不支持tensflow-gpu的运行，结果每次运行模型都要好久。偶然间一个想法，想试试自己的笔记本，结果竟然神奇的发现能用GPU。于是分享一下安装步骤. 二、具体 因为版本之间有严格的对应关系，所以本文就将自己使用的版本对应分享如下，亲测可以成功！！首先查看下自己的显卡
阅读全文
摘要：一、前述 维基百科中的机器人是指主要用于协助编者执行大量自动化、高速或机械式、繁琐的编辑工作的计算机程序或脚本及其所登录的帐户。 二、具体 1、最简单的就是基于Rule-Base的聊天机器人。 也就是计算设计好语料库的问答语句。 就是小学生级别的 问什么 答什么 结果： 2、升级I： 显然 这样的r
阅读全文
摘要：一、前述 DCGAN就是Deep Concolutions应用到GAN上，但是和传统的卷积应用还有一些区别，最大的区别就是没有池化层。本文将详细分析卷积在GAN上的应用。 二、具体 1、DCGAN和传统GAN区别 1.将pooling层convolutions替代（对于判别模型：容许网络学习自己的空
阅读全文
摘要：一、前述 GAN，生成对抗网络，在2016年基本火爆深度学习，所有有必要学习一下。生成对抗网络直观的应用可以帮我们生成数据，图片。 二、具体 1、生活案例 比如假设真钱 r 坏人定义为G 我们通过 G 给定一个噪音X 通过学习一组参数w 生成一个G（x），转换成一个真实的分布。 这就是生成，相当于造
阅读全文
摘要：一、前述 架构： 问题： 1、压缩会损失信息 2、长度会影响准确率 解决办法： Attention机制：聚焦模式 “高分辨率”聚焦在图片的某个特定区域并以“低分辨率”，感知图像的周边区域的模式。通过大量实验证明，将attention机制应用在机器翻译，摘要生成，阅读理解等问题上，取得的成效显著。 比
阅读全文
摘要：一、前述 传统的神经网络每个输入节点之间没有联系， RNN （对中间信息保留）： 由图可知，比如第二个节点的输入不仅依赖于本身的输入U1，而且依赖上一个节点的输入W0,U0，同样第三个节点依赖于前两个节点的输入， 假设每一个节点分别代表着“我出生在中国，我说——”的一个预测，则“说”后面则是依赖于前
阅读全文
摘要：一、前述 本文分享一篇基于数据集cifa10的经典模型架构和代码。 二、代码 三、总结 最终，在cifar-10数据集上，通过一个短时间小迭代的训练，可以达到大致73%的准确率，持续增加max_steps，可以期望准确率逐渐增加如果max_steps比较大，则推荐使用学习速率衰减decay的SGD进
阅读全文
摘要：一、前述 TensorBoard是tensorFlow中的可视化界面，可以清楚的看到数据的流向以及各种参数的变化，本文基于一个案例讲解TensorBoard的用法。 二、代码 三、TensorBoard的使用 1、找到代码中tf.summary.FileWriter文件记录器存储训练和测试的日志数据
阅读全文
摘要：一、前述 本文讲述池化层和经典神经网络中的架构模型。 二、池化Pooling 1、目标 降采样subsample，shrink（浓缩），减少计算负荷，减少内存使用，参数数量减少（也可防止过拟合）减少输入图片大小（降低了图片的质量）也使得神经网络可以经受一点图片平移，不受位置的影响（池化后相当于把图片
阅读全文
摘要：一、前述 Convolutional neural networks 视觉皮层、感受野，一些神经元看线，一些神经元看线的方向，一些神经元有更大的感受野，组合底层的图案1998年Yann LeCun等人推出了LeNet-5架构，广泛用于手写体数字识别，包含全连接层和sigmoid激活函数，还有卷积层和
阅读全文
摘要：一、前述 在梯度下降中，随着算法反向反馈到前面几层，梯度会越来越小，最终，没有变化，这时或许还没有收敛到比较好的解，这就是梯度消失问题，深度学习遭受不稳定的梯度，不同层学习在不同的速度上 二、解决梯度弥散和消失方法一，初始化权重使用he_initialization 1、举例 如果我们看逻辑激活函数
阅读全文
摘要：一、前述 上一篇讲述了神经网络中的调优实现，本文继续讲解。 二、L1，L2正则防止过拟合 使用L1和L2正则去限制神经网络连接的weights权重，限制更小 1、对于一层时可以定义如下： 一种方式去使用TensorFlow做正则是加合适的正则项到损失函数，当一层的时候，可以如下定义： 2、对于多层时
阅读全文
摘要：一、前述 调优对于模型训练速度，准确率方面至关重要，所以本文对神经网络中的调优做一个总结。 二、神经网络超参数调优 1、适当调整隐藏层数对于许多问题，你可以开始只用一个隐藏层，就可以获得不错的结果，比如对于复杂的问题我们可以在隐藏层上使用足够多的神经元就行了， 很长一段时间人们满足了就没有去探索深度
阅读全文
摘要：一、前述 ANN人工神经网络有两个或两个以上隐藏层，称为DNN 只有一个隐藏层是多层感知机 没有隐藏层是感知机 二、反向传播应用举例 举例： 正向传播，反向传播是一次迭代， 正向传播：在开始的每一层上都有一个参数值w，初始的时候是随机的,前向带入的是每一个样本值。 反向传播：然后反过来求所有的梯度值
阅读全文
摘要：一、前述 本文讲述用Tensorflow框架实现SoftMax模型识别手写数字集，来实现多分类。 同时对模型的保存和恢复做下示例。 二、具体原理 代码一：实现代码 代码二：保存模型 代码三：恢复模型
阅读全文
摘要：一、前述 反向自动求导是 TensorFlow 实现的方案，首先，它执行图的前向阶段，从输入到输出，去计算节点值，然后是反向阶段，从输出到输入去计算所有的偏导。 二、具体 1、举例 图是第二个阶段，在第一个阶段中，从 x =3和 y =4开始去计算所有的节点值f ( x / y )=x 2 * y
阅读全文
摘要：一、前述 TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输
阅读全文