摘要: 1. 批量归一化(Batch Normalization):为了让数据在训练过程中保持同一分布,在每一个隐藏层进行批量归一化。对于每一个batch,计算该batch的均值与方差,在将线性计算结果送入激活函数之前,先对计算结果进行批量归一化处理,即减均值、除标准差,保证计算结果符合均值为0,方差为1的 阅读全文
posted @ 2020-01-31 18:18 北冥有鱼兮 阅读(1978) 评论(0) 推荐(0) 编辑
摘要: 1. 零均值化 / 中心化:对输入图片进行预处理,计算训练数据中所有图片的每个位置的均值,然后每张图片的元素减自己位置对应的均值。零均值化后的图片以(0,0)为中心,所有图片的对应位置的元素均值为0 PCA和白化: 2. 为什么要对数据零均值化? 为了在反向传播中加快网络中每一层权重参数的收敛(这是 阅读全文
posted @ 2020-01-31 00:55 北冥有鱼兮 阅读(3528) 评论(0) 推荐(0) 编辑