2017年7月22日
深度学习的激励函数
摘要： 1.sigmoid函数 S(x)=1/(1+exp(-x)) 导数为：S(x)*(1-S(x))。 这个数值不会超过0.25.。通过sigmoid函数计算的函数值在0~1之间，如果神经网络的层数很多，如果每一层的激励函数采用sigmoid函数，就会产生梯度弥散的问题。因为利用BP函数更新参数的时候， 阅读全文
posted @ 2017-07-22 00:51 debuggor 阅读(1016) 评论(0) 推荐(0)
tensorflow tanh应用
摘要： 1、tanh（）函数 tanh是双曲函数中的一个，tanh()为双曲正切。 双曲正切函数的导数公式： 2、tensorflow tanh（）例子 import tensorflow as tf input=tf.constant([1,2,3,4],dtype=tf.float32) #在tenso 阅读全文
posted @ 2017-07-22 00:38 debuggor 阅读(1363) 评论(0) 推荐(0)
TensorFlow conv2d原理及实践
摘要： tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None) 官方教程说明： 给定四维的input和filter tensor，计算一个二维卷积 input: A T 阅读全文
posted @ 2017-07-22 00:00 debuggor 阅读(15334) 评论(0) 推荐(1)
2017年7月21日
TensorFlow conv2d实现卷积
摘要： tf.nn.conv2d是TensorFlow里面实现卷积的函数，参考文档对它的介绍并不是很详细，实际上这是搭建卷积神经网络比较核心的一个方法，非常重要 tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name 阅读全文
posted @ 2017-07-21 21:14 debuggor 阅读(1947) 评论(0) 推荐(0)
tensorflow max_pool(最大池化)应用
摘要： 1、最大池化 max pooling是CNN当中的最大值池化操作，其实用法和卷积很类似。 tf.nn.max_pool(value, ksize, strides, padding, name=None) 参数是四个，和卷积很类似： 第一个参数value：需要池化的输入，一般池化层接在卷积层后面，所 阅读全文
posted @ 2017-07-21 19:15 debuggor 阅读(1266) 评论(0) 推荐(0)
tensorflow Relu激活函数
摘要： 1、Relu激活函数 Relu激活函数（The Rectified Linear Unit）表达式为：f(x)=max(0,x)。 2、tensorflow实现 输出为： [[ 0. 10. 0.] [ 0. 2. 0.]] 阅读全文
posted @ 2017-07-21 18:49 debuggor 阅读(4236) 评论(0) 推荐(0)
tensorflow Sigmoid 应用
摘要： 1、函数 函数：f(z) = 1 / (1 + exp( − z)) 导数：f(z)' = f(z)(1 − f(z)) 2、tensorflow实现 输出为： [[ 5.00000000e-01 9.99954581e-01 4.53978719e-05] [ 7.31058598e-01 8.8 阅读全文
posted @ 2017-07-21 18:37 debuggor 阅读(11034) 评论(0) 推荐(0)
tensorflow softmax应用
摘要： 恢复内容开始 1、softmax函数 2、tensorflow实现例子 输出为： [[ 0.2 0.2 0.2]][[ 0.33333334 0.33333334 0.33333334]][1 3] 输出为： [[ 0.2 0.2 0.2] [ 1. 2. 3. ]][[ 0.33333334 0. 阅读全文
posted @ 2017-07-21 18:12 debuggor 阅读(268) 评论(0) 推荐(0)
神经网络和深度学习手稿
摘要： 阅读全文
posted @ 2017-07-21 17:40 debuggor 阅读(136) 评论(0) 推荐(0)