《神经网络的梯度推导与代码验证》系列介绍

前言

本系列文章要解决的主要问题是剖析清各种经典的神经网络结构（FNN，CNN，vanilla RNN以及LSTM）的前向传播与反向梯度求导，并在常用的深度学习框架中验证其结论的准确性。希望通过这些工作让自己对经典的神经网络结构以及深度学习框架有更深的理解。

 

本系列的主要内容编排如下：

• 数学知识准备篇，其内容主要是矩阵微分的知识和一些重要技巧，最后会附上矩阵微分的应用的小demo。该篇相当于是后续篇章的“依赖包”。
• FNN（DNN）的前向传播，反向梯度推导以及代码验证
• CNN的前向传播，反向梯度推导以及代码验证
• vanilla RNN的前向传播，反向梯度推导以及代码验证
• LSTM的前向传播，反向梯度推导以及代码验证

 

注意：

•  本系列默认读者已具备导数，梯度下降等基础的数学概念
•  本系列默认读者已具备基本的线性代数知识
•  本系列涉及到的深度学习框架是tensorflow，版本为2.1.0（实际上大于2.0.0即可）