摘要：疑问： optimizer的step为什么不能放在mini-batch那个循环之外，optimizer.step和loss.backward的区别； 解惑： 首先需要明确optimizer优化器的作用，形象地说，优化器就是需要根据网络反向传播的梯度信息来更新网络参数，以起到降低loss函数计数值的作 阅读全文

摘要：在很多情况下我们能看到代码有这样一行： 1 torch.backends.cudnn.benchmark = true 而且大家都说这样可以增加程序的运行效果，那到底有没有这样的效果，或者什么情况下应该这样做呢？ 解决办法： 总的来说，大部分情况下，设置这个flag可以让内置的cuDNN的auto- 阅读全文

摘要：model.train()与model.eval()的用法 在深度学习的训练和测试代码中，总会有model.train()和model.eval()这两句，那么这两条语句的作用是什么？ 通过查阅发现： 如果模型中有BN层(Batch Normalization)和Dropout，需要在训练时添加mo 阅读全文