摘要:神经网络在训练时最后会得到误差loss,神经网络会根据误差反向学习: 当反向学习的权重W < 1时,loss * W会逐级减小,甚至接近0。 这就是梯度消失。 当反向学习的权重W > 1时,loss * W会逐级增大,最后变得非常大。这就是梯度爆炸。 loss1 loss2 loss3 loss4
阅读全文
随笔分类 - tensorflow
摘要:神经网络在训练时最后会得到误差loss,神经网络会根据误差反向学习: 当反向学习的权重W < 1时,loss * W会逐级减小,甚至接近0。 这就是梯度消失。 当反向学习的权重W > 1时,loss * W会逐级增大,最后变得非常大。这就是梯度爆炸。 loss1 loss2 loss3 loss4
阅读全文
摘要:note: RNN处理有序的数据。例如一句话 一层双向的循环神经网络示意图(没有 S0' 则为单层循环): 正向循环S0 到 Si:y1的值受X1,A1以及上一层的A0影响 反向循环Si 到 S0:y1的值受X1, A1' 以及下一层的 A2' 影响 他们两者之间并不共享权值。 多层双向循环构成深度
阅读全文
摘要:note: if you'll load data,the data shape should be similar with saved data's shape. -- 中式英语,天下无敌
阅读全文
摘要:记录sklearn数据训练时的loss值,用tensorboard可视化 三步骤:红字处
阅读全文
摘要:用到的训练数据集:sklearn数据集 可视化工具:tensorboard,这儿记录了loss值(预测值与真实值的差值),通过loss值可以判断训练的结果与真实数据是否吻合 过拟合:训练过程中为了追求完美而导致问题 过拟合的情况:蓝线为实际情况,在误差为10的区间,他能够表示每条数据。 橙线为训练情
阅读全文
摘要:## 启动 cmd cd 到储存log的同级目录 tensorboard --logdir=log # Don't "log"
阅读全文
摘要:简单的训练MNIST数据集 (0-9的数字图片) 详细地址(包括下载地址):http://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners.html
阅读全文
摘要:调用该API可以不通过 tensorflow.Session.run()调用 定义的张量constant tensor,可以直接print
阅读全文
摘要:# -*- coding: utf-8 -*-import tensorflow as tf# 基本的常量操作,通过构造函数返回值 定义值的操作operationsa = tf.constant(2)b = tf.constant(3)# 启动默认 图形实例sess#支持运算with tf.Sess
阅读全文
|