软件体系结构课堂测试

 

班级：信2105-3班  学号：20214046  姓名：王垚基

1.正向传播：

功能：在正向传播过程中，输入数据通过神经网络的各层，经过一系列的线性和非线性变换，最终得到输出结果。

原理：正向传播是沿着神经网络从输入到输出的方向传递信号。每一层的输出是由上一层的输出经过权重矩阵和激活函数计算得到的。这一过程可以看作是一个函数的复合，通过不断的矩阵乘法和激活函数的运算，数据在网络中传递并逐层变换，最终得到输出。

反向传播：

 

功能：反向传播用于计算损失函数对网络参数（权重和偏置）的梯度，从而进行参数的更新。

原理：反向传播是基于链式法则（链式求导）来计算损失函数对网络参数的梯度。首先，通过正向传播计算出网络的输出和损失函数的值，然后反向传播计算损失函数对每个参数的偏导数。这个过程从损失函数开始，沿着网络的反方向传递梯度，利用链式法则逐层计算每个参数的梯度，最终得到关于参数的梯度信息。

梯度下降：

功能：梯度下降是通过利用参数梯度的信息来更新网络参数，使损失函数逐步减小，从而达到优化网络的目的。

原理：梯度下降是一种迭代优化算法，它的基本思想是沿着损失函数梯度的反方向，以一定的步长更新网络参数，使得损失函数逐渐减小。在每一次迭代中，根据参数的梯度和学习率，调整参数的数值，使得损失函数在参数空间中向局部最优解移动。

2、

非线性性质：ReLU 是一种非线性激活函数，能够更好地捕捉和表示输入数据的非线性关系。tanh 和 sigmoid 函数在输入数据较大或较小时会饱和，导致梯度消失或梯度爆炸问题。而ReLU在正数范围内保持线性增长，使得网络更容易学习复杂的非线性模式。

稀疏激活性：ReLU 在负数范围内输出值为零，这意味着在训练过程中，一部分神经元会变得不活跃，从而实现了稀疏激活性。这有助于减少网络的计算负担和参数的冗余性，提高模型的泛化能力。

缓解梯度消失问题：ReLU 在正数范围内保持恒定的梯度为1，这有助于缓解梯度消失问题。在反向传播过程中，恒定的梯度可以更有效地传递误差信号，并且能够更快地训练深层神经网络。

计算效率：ReLU 的计算简单高效，只需比较输入是否大于零，在训练过程中的计算速度更快，特别是在大规模神经网络中。

3、

如果不用激励函数，在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与只有一个隐藏层效果相当，这种情况就是多层感知机了。因为上面，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义。最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入。

4.

Z-1=1*1+-1*2=-1   

Z-2=-1*1+-1*1=-2   

Z-3=1*(-1)+1*(-2)=-3