2.DNN-神经网络推导

DNN就是我们常常说的深度神经网络，可以说由其衍生出来的各种深度算法都在AI界大行其道，今天就好好理一下这个算法。参考的是刘建平老师的博客：http://www.cnblogs.com/pinard/p/6494810.html

1.DNN结构与前向传播

 

一把来说一个DNN主要由一个输入层，若干隐藏层和一个输出层三部分组成，其中的系数关系是这样的：

 

其中各个符号表示的意思如下：

写成矩阵的形式：

 

 其中初始化

2.DNN的反向传播

　　当我们写出了层与层之间的关系，那么如何得到w和b这些系数呢？假设我们的神经网络有L层，损失函数用L(x,y)表示，则具体反向传播算法如下（自己手推的，有错误请指正）：

　　我们初始化w和b后，可以根据上式通过梯度下降来更新w，b，直到变化量小于某一个阀值停止。