【啃书吧：深度学习与MindSpore实践】第四章 4.5 批标准化

初读：2021年3月13日-2021年3月16日

啃书进度会在目录中标出来。本次目标是完成第4章 4.5 批标准化（P49-P50）。

在深度学习系统中，深层神经网络的训练调参极为困难（“困难”过于轻描淡写，让我训练个模型还不如让我去买体彩）。在训练过程中，往往需要尝试不同的正则化方法、学习率等方式来帮助模型加速收敛。深度神经网络之所以如此难训练，其中一个重要原因就是神经网络中层与层之间存在高度的关联性。这些关联性会导致内协变量移位（Internal Covariate Shift，简称ICS），正确的断句的方式是这样的——“内”、“协变量”、“移位”（或偏移）。

 

祥细内容请看附件文档。

<ignore_js_op class="ignore">

04-5-批标准化.pdf348.55 KB，下载次数：6预览

<ignore_js_op class="ignore">

Batch Normalization Accelerating Deep Network Training by Reducing Internal Cova.pdf169.48 KB