神经网络编程中的基础数学知识点
声明
本笔记基于
《Python神经网络编程》[英]Tariq Rashid 著 林赐译
此书为蓝本，对基础神经网络应用中数学方面的知识点作以总结、发展与分享。
基础数学知识的储备
- 线性代数
· 矩阵乘法 - 微积分
· 求偏导数（微分）
具体公式解引
激活函数
S函数(sigmoid function)
这个函数，比起硬邦邦的阶跃函数要相对平滑，这使得这个函数更自然、更贴近现实。
虽然人工智能研究人员还使用其他外形类似的函数，但是这个S形函数比起其他S形函数计算起来容易的多。
正向传输信号运算（矩阵乘法）
输入层到隐藏层
隐藏层到输出层
总公式
反向传播误差运算（矩阵乘法）
输出层到隐藏层
权重更新运算（偏导数、矩阵乘法）
误差函数（化简后）
标准误差函数斜率方程（化简后）
1. 隐藏层到输出层
2. 输入层到隐藏层
学习因子
权重更新矩阵（隐藏层到输出层）
