一句话胜千言系列:BatchNorm和LayerNorm

1. 前言

一方面便于日后自己的温故学习,另一方面也便于大家的学习和交流。
如有不对之处,欢迎评论区指出错误,你我共同进步学习!

2. 正文

区别就一句话:

BatchNorm是对一个batch-size样本内的每个特征[分别]做归一化,LayerNorm是[分别]对每个样本的所有特征做归一化。
image

3. 后记

posted @ 2025-04-01 17:51  泪水下的笑靥  阅读(50)  评论(0)    收藏  举报