2022年1月
AI系统——梯度累积算法
摘要： AI系统——梯度累积算法 在深度学习训练的时候，数据的batch size大小受到GPU内存限制，batch size大小会影响模型最终的准确性和训练过程的性能。在GPU内存不变的情况下，模型越来越大，那么这就意味着数据的batch size智能缩小，这个时候，梯度累积（Gradient Accumulation）可以作为一种简单的解决方案来解决这个问题。 阅读全文
posted @ 2022-01-08 21:28 ZOMI酱酱 阅读(740) 评论(0) 推荐(1)