手写数字识别神经网络——学习笔记

感知机

单个神经元，只能二分类；需要多搭几个构成网络，来进行多分类。

y=w*x+b;权重和偏置

 

BP神经网络

预测值与真实值差异->损失函数->梯度下降方法优化参数

真实值one-hot编码

损失函数：

每次更新，朝着最优解方向走。学习率0-1。

 

前向传播得到预测值

 

激活函数：

sigmod函数，左为0，不适合隐藏层，不然损失函数为0，梯度消失。

有了激活函数

 

每一层W的行列：行为此层数，列为下一层数。

反向传播求梯度

练习：

向量对向量求偏导是个矩阵：结果矩阵行列数：上行下列。

张量：立体矩阵