随笔分类 -  大模型训练优化

如何优化显存，使在相同的内存环境下，训练时的速度提高，支持更大的batchsize，又不损失精度？
大模型优化1：简介
摘要：随着深度学习模型越来越大，训练模型需要的GPU越来越多，对于Google、Fackbook来说，不差钱，但是对于很多资金紧张的团队来说，训练大模型的花费变得负担不起。 为了解决这个问题，”模型内存优化“技术开始展露头角，该技术致力于减少模型训练时占据的显存，并极力缩小由此带来的时间开销。 其实在推理 阅读全文

posted @ 2021-12-02 08:53 MissSimple 阅读(614) 评论(0) 推荐(0)

导航