摘要: 在深度学习中,归一化操作有BN,LN,GN,IN这几种形式,下表给出了各种方法的主要区别: 归一化方法 计算维度 固定维度 适用场景 特点 BatchNorm 沿 (N, H, W) 对每个通道独立计算 Channel 卷积神经网络 依赖批次大小,训练和推理行为不同 LayerNorm 沿 (C, 阅读全文
posted @ 2025-01-28 14:36 Dsp Tian 阅读(99) 评论(0) 推荐(0)