2022年1月3日
Batch Normalization & layer normalization
摘要： BN回顾 #####首先Batch Normalization 中的Normalization被称为标准化，通过将数据进行平和缩放拉到一个特定的分布。BN就是在batch维度上进行数据的标准化。BN的引入是用来解决 internal covariate shift 问题，即训练迭代中网络激活的分布的 阅读全文
posted @ 2022-01-03 16:23 Uriel-w 阅读(51) 评论(0) 推荐(0)