rule激活函数

ReLU=max(0,x)

当输入为正数时，ReLU函数的输出等于输入；当输入为负数时，输出为0。因此，ReLU函数在训练过程中能够有效地减少梯度消失的问题。

对于ReLU函数的梯度，当输入为正数时，梯度为1；当输入为负数时，梯度为0。这意味着在反向传播过程中，只有正数的梯度会被传递下去，而负数的梯度会被截断。这种特性被称为“稀疏激活性”，可以帮助模型更好地学习特征。

然而，ReLU函数也存在一些问题。当输入为负数时，梯度为0，者 意味着神经元将无法被激活，这被称为“死亡神经元”问题。为了解决这个问题，一些改进的ReLU函数被提出。如LeakyReLU和PReLU。