神经网络简介

新手上路很多概念不清楚，本文作为记录和笔记，简单摘抄，列出关键概念，以便查阅，详细内容移步原文

神经网络

参考:如何自己从零实现一个神经网络? - 量子位的回答 - 知乎

关键词

神经元：神经网络基本单元，获得输入，计算，产生输出
- 权重：wx
- 偏置：b
- 激活函数：使用的sigmoid，作用对无限制的输入转换为可预测形式输出，从而具有某种意义（比如概率）
神经网络
- 前馈：神经元的输入向前传递获得输出的过程
训练神经网络：设定一个损失函数，想办法把损失函数最小化
减少神经网络损失：因为改变网络的权重w和偏置b可以影响预测值，损失函数实际上就是包含多个权重、偏置的多元函数

\[L\left(w_{1}, w_{2}, w_{3}, w_{4}, w_{5}, w_{6}, b_{1}, b_{2}, b_{3}\right) \]

故要研究某一个自变量对于函数的影响，可以求某一个自变量的偏导（比如文章中是w1），过程中会使用到链式法则，因为是向后计算（往前馈forward的反方向，即从输出往输入的方向），故称向后计算偏导数的系统为返乡传播（backpropogation）
随机梯度下降SGD

\[w_{1} \leftarrow w_{1}-\eta \frac{\partial L}{\partial w_{1}} \]

定义了改变权重和偏置的方法，\(\eta\)是一个常数，称为学习率（learning rate），它决定了我们训练网络速率的快慢。将w1减去η·∂L/∂w1，就等到了新的权重w1。\(\eta\)的大小自己把握
当∂L/∂w1是正数时，w1会变小；当∂L/∂w1是负数 时，w1会变大。
如果我们用这种方法去逐步改变网络的权重w和偏置b，损失函数会缓慢地降低，从而改进我们的神经网络