摘要：
BatchNormalzation是一种解决深度神经网络层数太多，而没有办法有效前向传递的问题，因为每层的输出值都会有不同的均值和方差，所以输出数据的分布也不一样。 如果对于输入的X*W本身得到的值通过tanh激活函数已经输出为1，在通过下一层的神经元之后结果并没有什么改变，因为该值已经很大（神经网 阅读全文
摘要：
name_scope variable_scope 通常在RNN中有一个重复循环机制，比如在training中和test中的结构是不同的，但是在两者的参数是相同的时候，就可以用到 # the right method to reuse parameters in train rnn with tf. 阅读全文
摘要：
AutoEncoder是包含一个压缩和解压缩的过程，属于一种无监督学习的降维技术。 神经网络接受大量信息，有时候接受的数据达到上千万，可以通过压缩 提取原图片最具有代表性的信息，压缩输入的信息量，在将缩减后的数据放入神经网络中学习，如此学习起来变得轻松了 自编码在这个时候使用，可以将自编码归为无监督 阅读全文
摘要：
RNN RNN无法回忆起长久的记忆 LSTM （long short Term memory长短期记忆）解决梯度消失或弥散vanishing 和梯度爆炸explosion 0.9*n-->0 1.1*n >无穷大 在RNN中增加了Gate 案例 所以RNN无法回忆起长久的记忆。LSTM为了解决该问题 阅读全文