神经网络

模型表示

如上图，x123作为输入单元（input units),传入原始数据

a123是中间单元，处理数据并传递到下一层

最后为输出单元，负责计算\(h_\theta(x)\)

神经网络模型由许多逻辑单元按照不同层级组织起来的网络，每一层都是下一层的输入变量如图第一层为输入层

最后一层是输出层，中间的为隐藏层，为每一层增加一个偏差单位（bias unit）

以上，\(a_i^{(j)}\)是第j层的第i个激活单元。\(\theta^{(j)}\) 表示从j层到j+1层的权重的矩阵，例如\(\theta^{(1)}\)代表1到2层的权重的矩阵，尺寸为：以j+1层的激活单元数量为行数，j层的激活单元为列数的矩阵，上图中的第1层的权重的矩阵就为3*4（输入层还包含x0未显示）

又如图，激活单元和输出的表达分别如下

\(\alpha_1^{(2)} = g(\theta_{10}^{(1)}x_0 + \theta_{11}^{(1)}x_1 + \theta_{12}^{(1)}x_2 + \theta_{13}^{(1)}x_3)\)

\(\alpha_2^{(2)} = g(\theta_{20}^{(1)}x_0 + \theta_{21}^{(1)}x_1 + \theta_{22}^{(1)}x_2 + \theta_{23}^{(1)}x_3)\)

\(\alpha_3^{(2)} = g(\theta_{30}^{(1)}x_0 + \theta_{31}^{(1)}x_1 + \theta_{32}^{(1)}x_2 + \theta_{33}^{(1)}x_3)\)

\(h_\theta(x) = g(\theta_{10}^{(2)}a_0^{(2)}+\theta_{11}^{(2)}a_1^{(2)}+\theta_{12}^{(2)}a_2^{(2)}+\theta_{13}^{(2)}a_3^{(2)})\)

上述表达只是将一个训练实例送入神经网络中， 我们要做的是将整个训练集都送入神经网络算法来训练模型

实际展开来看就是

\(x = \begin{bmatrix} x_0\\x_1 \\x_2 \\ x_3\end{bmatrix}\) \(z^{(2)} = \begin{bmatrix}z_1^{(2)} \\z_2^{(2)}\\z_3^{(2)} \end{bmatrix}\)

\(z^{(2)} = \theta^{(1)}x \\a^{(2)} = g(z^{(2)})\)

\(z^{(2) } = \theta^{(1)}x\) 即第二层的神经元数据为\(a^{(2)} = g(z^{(2)})\) ,得到第二层向量之后，添加偏移量\(a_0^{(2)}=1\),输入到下一层中，不妨假设下一层即为输出层，得到的就是

使\(z^{(3)} = \theta^{(2)}a^{(2)} 即h_\theta(x) = a^{(3)} = g(z^{(3)})\)

相对于逻辑回归和线性回归，神经网络经过了输入层和隐藏层的多此进化，可以简单的将中间的隐藏层看作原始输入数据的进化体，因为是由初始的x向量决定的，所以是梯度下降的，相比起来也下降的更加快速，所以中间的隐藏层特征值的效果也比x次方更加高效。

特征和直观理解

神经网络中单层神经元（无中间层）的计算可以用来表示逻辑运算例如逻辑与/或

举例说明

对于上图，我们首先需要在x12的基础上添加一个偏执单元，并为其分配一定的权重，例如-30，20，20，意味着x012的权重依次为上述三个值，我们可以得到\(h_{\theta}(x) = g(-30+20x_1+20x_2)\)

对于sigmoid函数 是一个x轴上从-∞到+∞，y值从0->1的激活函数图像，所以，对于h(x)有

即说明\(h_{\theta}(x) = x_1\quad AND\quad x_2\)

样本和直观理解

我们尝试使用神经元来组件神经网络实现运算功能，以下以异或功能为例

XNOR = \((x_1 \ and \ x_2) \ or \ ((not \ x_1) \ and \ (not \ x_2))\)

所以第一步我们需要构建表达\((not \ x_1) \ and \ (not \ x_2)\)的神经元\(g(10*1+-20*x_1+-20*x_2)\)

再表示出\((x_1 \ and \ x_2)\) \(g(-30 + 20 x_1 + 20 x_2)\)

将以上两个神经元并列后得到第二层神经元(hidden layer)，并得到最后的输出假设函数h(x)

由数据表示可以设计为

其中 \(a_1^{(2)} 神经元为和运算，a_2^{(2)}神经元为\)\((not \ x_1) \ and \ (not \ x_2)\)运算

\(x_1\)	\(x_2\)	\(a_1^{(2)}\)	\(a_2^{(2)}\)	\(h_\theta(x)\)
0	0	0	1	1
0	1	0	0	0
1	0	0	0	0
1	1	1	0	1

由上可得一个由一层输入一层隐藏层的神经网络，实现异或的功能

这样的方式可以构造出非常复杂的神经网络，可以挖掘到更加细致的特征值，这就是神经网络的优势所在

多类分类

通常情况下，我们会遇到不止两种分类的问题，例如我们使用神经网络算法来识别四类图片，并输出一个四维向量来实现，例如[a,b,c,d],abcd中的任意一个为1，其余三个为0，表示图片为值为1的那类。对于神经网络的结构，可能如下图