2024年7月23日
pytorch中的zero_grad()执行时机
摘要： 在反向传播(backward())前执行即可 zero_grad() 用以清除优化器的梯度对张量执行backward(),以计算累积梯度执行optimizer.step(),优化器使用梯度更新参数当优化器更新完成,梯度即失去意义,即可以清除,为保证下一次梯度开始累积时为0,则在下一次执行反向传播前清 阅读全文
posted @ 2024-07-23 11:28 tomcat4014 阅读(10) 评论(0) 推荐(0)
pytorch中常见的模型4种组织方式 nn.Sequential(OrderedDict)
摘要： 目录 解释总结示例在nn.Sequential中嵌套OrderedDict组织网络,以对层进行命名使用多个nn.Sequential组织网络使用单个nn.Sequential组织网络使用nn.ModuleList组织ModuleList静态组织示例ModuleList动态组织示例 解释 nn.Mod 阅读全文
posted @ 2024-07-23 11:23 tomcat4014 阅读(3) 评论(0) 推荐(0)