常见激活函数

softmax

import torch.nn.functional as F
F.softmax(x, dim=)

$\sigma (z_i) = \frac{e^{z_i}} { \Sigma_{j=1}^K e^{z_j}} $

• 它可以将一个具有任意实数范围的向量归一化为一个概率分布，使得向量中的每一个元素都变成了 [0,1] 范围内的值，并且所有元素的和为 1，

• 为了防止溢出，一般分数上下同时除以 \(e^M, M=\max (z_i)\), 变成了$\sigma (z_i) = \frac{e^{z_i - M}} { \Sigma_{j=1}^K e^{z_j - M}} $

• 相当于将原来的比值，修改为e次后的比值，会将大数字与小数字之间的差距进一步拉大。

• 相加起来和为1.

sigmoid

import torch.nn as nn
nn.Sigmoid()

\(f(x) = \frac{1} {1 + e^{-x}}\)

• 激活函数，分母大于1，所以激活为0到1的一个数字，且越靠近两端，增长率越慢

tanh

import torch.nn as nn
nn.Tanh()

\(f(x) = \frac {e^x - e^{-x}} {e^x + e^{-x}}\)

• 激活函数,它的输出范围为[-1,1]，输入小于0时逼近于-1，输入大于0时逼近于1