摘要：
LayerNorm 等其他归一化 目录LayerNorm 等其他归一化总览Batch NormLayer Norm计算过程LN优缺点用法上的差异transformer 为什么使用 layer normInstance Norma, INGroup Norma, GNBN LN IN GN的区别参考资 阅读全文
摘要：
BatchNorm 目录BatchNormBatchNorm原理目的及思想BN的公式步骤平移和缩放作用BN的反向传播BN优缺点训练测试的区别代码实现参考资料 BatchNorm原理 论文：https://arxiv.org/pdf/1502.03167v3.pdf 深层神经网络在做非线性变换前的激活 阅读全文
摘要：
数据归一化 目录数据归一化均值和方差Min-Max归一化Mean 归一化Z-Score标准化对比和比较为什么需要数据处理哪些模型需要进行特征缩放参考资料 均值和方差 \[\bar{x} = \sum_{i=1}^{n}{x_i} \]\[std(x)=\sqrt{\frac{ \sum_{i=1}^ 阅读全文