model.train()与model.eval()的用法

model.train()与model.eval()的用法

在深度学习的训练和测试代码中，总会有model.train()和model.eval()这两句，那么这两条语句的作用是什么？

通过查阅发现：

如果模型中有BN层(Batch Normalization)和Dropout，需要在训练时添加model.train()，在测试时添加model.eval()。

其中model.train()是保证BN层每一层批数据的均值和方差，而model.eval()是保证BN用全部数据的均值和方差；

而对于Dropout，model.train是随机取一部分网络连接来训练更新参数，而model.eval()是利用所有网络连接。

联系Batch Normalization和Dropout的原理之后就不难理解为何要这么做了。

 

原文连接：https://www.cnblogs.com/luckyplj/p/13424561.html