optim.SDG 或者其他、实现随机梯度下降法

optim.SDG 或者其他、实现随机梯度下降法

待办

实现随机梯度下降算法的参数优化方式

另外还有class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0)[source]
实现平均随机梯度下降算法。