使用model.eval( ) 和 torch.no_grad( )的情况

 

 

 

神经网络每训练1个epoch 会紧接着 evaluate一下，PyTorch提供了model.eval( )和torch.no_grad( )，验证时会使用 model.eval( ) 开启评估模式，

在训练阶段，网络的Dropout 层和BatchNorm 层处于开启的模式；

在验证阶段，代码中加入model.eval( )来开启评估模式，这样Dropout层的功能关闭，BatchNorm层的功能关闭。

有时会将 torch.no_grad( ) 和 model.eval( )都用在验证阶段的代码中，如下：

一般使用model.eval( )就可以，想进一步节省显存或时间的话，可以加上torch.no_grad( ) ，这会关闭神经网络的gradient计算和存储。

 

 

Enjoy it!