2024年8月7日
梯度累计讲解-支持更大的batch
摘要： 在对比学习（Contrastive Learning）中，梯度累计（Gradient Accumulation）是一种技术，用于在内存有限的情况下实现大批量（Large Batch）训练。这个操作通过将多个小批次的梯度累加起来，再进行一次权重更新，从而模拟大批次训练的效果。 以下是梯度累计的基本操作 阅读全文
posted @ 2024-08-07 14:34 海_纳百川 阅读(832) 评论(0) 推荐(0)
本站总访问量次