神经网络：计算初始化权重时的增益因子（gain factor） —— nn.init.calculate_gain

torch.nn.init.calculate_gain

是 PyTorch 提供的一个辅助函数，用于计算初始化权重时的增益因子（gain factor）。它的作用是根据不同的激活函数类型调整权重的方差，使其更适合训练，避免梯度消失或爆炸问题。

nn.init.calculate_gain 对于不同的非线性函数有不同的增益值（有什么物理意义）。非线性函数及其对应的增益值如下图：