2023年12月5日
管理和优化显存 深度学习 训练
摘要： 管理和优化显存 深度学习 训练 训练的时候 常常会 爆显存 数据集 -- 大 模型复杂 -- 计算繁琐 参数多 优化器 -- 状态信息存储 1、监视 TensorBoard 或PyTorch Lightning 2、分批处理数据 Data Loader 数据集分批加载到内存，降低每轮训练数据的显存占用 3、梯度累积 几个批次的数据 阅读全文
posted @ 2023-12-05 20:00 paramotor 阅读(227) 评论(0) 推荐(0)