摘要: 那么为什么会出现梯度消失的现象呢?因为通常神经网络所用的激活函数是sigmoid函数,这个函数有个特点,就是能将负无穷到正无穷的数映射到0和1之间,并且对这个函数求导的结果是f′(x)=f(x)(1−f(x))。因此两个0到1之间的数相乘,得到的结果就会变得很小了。神经网络的反向传播是逐层对函数偏导阅读全文
posted @ 2018-01-02 15:06 hank的DL之路 阅读(206) 评论(0) 编辑
摘要: 扩充 TensorFlow tf.tile 对数据进行扩充操作 拼接 tf.concat(values, axis, name='concat') tf.stack(values, axis=0, name='stack') TensorFlow提供两种类型的拼接: tf.concat(values阅读全文
posted @ 2017-11-23 16:52 hank的DL之路 阅读(134) 评论(1) 编辑
摘要: Remove Duplicates from Sorted Array:从排列后的数组中删除重复元素 考察数组的基本操作: Remove Duplicates from Sorted Array II (Java) For example, given sorted array A = [1,1,1阅读全文
posted @ 2017-11-22 16:08 hank的DL之路 阅读(11) 评论(0) 编辑
摘要: LeetCode题型分类,找工作刷题必备阅读全文
posted @ 2017-11-22 10:13 hank的DL之路 阅读(19) 评论(0) 编辑
摘要: RNN,LSTM,seq2seq等模型广泛用于自然语言处理以及回归预测,本期详解seq2seq模型以及attention机制的原理以及在回归预测方向的运用。阅读全文
posted @ 2017-11-14 18:49 hank的DL之路 阅读(264) 评论(0) 编辑