哪有什么岁月静好，不过是有人替你负重前行！
2021年12月10日
step，epoch，batch size和显存
摘要： 显存占用 = 模型显存占用 + batch_size × 每个样本的显存占用时间更宝贵，尽可能使模型变快（减少 flop）显存占用不是和 batch size 简单成正比，模型自身的参数及其延伸出来的数据也要占据显存batch size 越大，速度未必越快。在你充分利用计算资源的时候，加大 batc 阅读全文
posted @ 2021-12-10 21:09 Lhiker 阅读(2740) 评论(0) 推荐(0)