神经网络的基本组成

引入

回忆一下高中生物中学到的知识：当一个神经元受到足够强的刺激的时候，就会被激活向下一个神经元释放递质，然后激活下一个神经元，以此类推，最终将信号传导到需要的地方。
那么我们的神经网络也是由此而来建模而来，我们需要着重需要定义的一些量就是：

1. 怎么样才算足够强的刺激
2. 如何表示被激活
3. 如何向下一个神经元传递信息

神经元

一般神经网络都会非常大，所以神经元定义要尽量的简单。一般用一个线性组合+激活函数来表示。

线性组合：

\[g(x)=\mathrm{w}^T\mathrm{x} \]

偏置项隐含表示在\(x_0\)里。

激活函数：

\[f(z)=\begin{equation}\nonumber\begin{cases}1\qquad z>0\\0\qquad otherwise\end{cases}\end{equation} \]

即用阶跃函数表示激活函数。

神经元：

\[y=f(x)=\begin{equation}\nonumber\begin{cases}1\qquad \mathrm{w}^T\mathrm{x}>0\\0\qquad otherwise\end{cases}\end{equation} \]

那么我们可以理解成线性组合表示刺激的大小，而激活函数定义了多大刺激可以激活神经元，最终神经元就表示了这样。
其实这就是个感知机。

但是这里我们为了后面方便求导，用sigmoid来表示激活函数：

\[sigmoid(x)=\frac{1}{1+e^{-x}} \]

激活函数也可以选择普通的阶跃函数，这里选择sigmoid是因为方便后面的求导。

那么神经元就是：

\[y=\frac{1}{1+e^{-\vec{w}^T\centerdot\vec{x}}} \]

神经网络

那么将神经元用一定的规则进行连接就可以得到神经网络。
上图是一个全连接(full connected)的神经网络，我们以这个神经网络作为例子。

这里要对神经网络的一些基本的部分进行说明。

• 输入层，即输入x的那一层。
• 输出层，即输出y的那一层。
• 隐层，输入层和输出层之间不管隔了多少层都叫隐层。

这里以计算某一个输出\(y_1\)为例：

\[\begin{align}\nonumber y_1&=sigmoid(\vec{w}^T\centerdot\vec{a})\\ \nonumber &=sigmoid(w_{84}a_4+w_{85}a_5+w_{86}a_6+w_{87}a_7+w_{8b}) \end{align}\]

那么\(a_4\)就是：

\[\begin{align}\nonumber a_4&=sigmoid(\vec{w}^T\centerdot\vec{x})\\ \nonumber &=sigmoid(w_{41}x_1+w_{42}x_2+w_{43}x_3+w_{4b}) \end{align}\]

其他\(a\)的值同理。

向量表示

那么第一个隐层的向量\(\vec{a}\)：

\[\vec{a}= \begin{bmatrix} a_4 \\ a_5 \\ a_6 \\ a_7 \\ \end{bmatrix} \]

对应的权重：

\[ W= \begin{bmatrix} \vec{w}_4 \\ \vec{w}_5 \\ \vec{w}_6 \\ \vec{w}_7 \\ \end{bmatrix}= \begin{bmatrix} w_{41},w_{42},w_{43},w_{4b} \\ w_{51},w_{52},w_{53},w_{5b} \\ w_{61},w_{62},w_{63},w_{6b} \\ w_{71},w_{72},w_{73},w_{7b} \\ \end{bmatrix} \]

对此过程不清楚的可以翻译参考1。

由此我们其实可以看出，一层的权重可以用一个矩阵来表示，那么整个神经网络的权重就可以用一个三维的张量来表示了。所有一般来说神经网络的权重会表示成一个三维的数组。

前向计算

那么对于这样的一个神经网络：

我们可以使用这样的一个过程：

\[\begin{align}\nonumber &\vec{a}_1=f(W_1\centerdot\vec{x})\\ \nonumber &\vec{a}_2=f(W_2\centerdot\vec{a}_1)\\ \nonumber &\vec{a}_3=f(W_3\centerdot\vec{a}_2)\\ \nonumber &\vec{y}=f(W_4\centerdot\vec{a}_3)\\ \nonumber \end{align} \]

从\(\vec{x}\)得到\(\vec{y}\)。
这个过程就叫做前向计算。

参考

1. 零基础入门深度学习