导航

2024年8月18日

加载一个模型需要多少GPU内存？

摘要： https://www.substratus.ai/blog/calculating-gpu-memory-for-llm 这里提供了一个公式可以计算加载一个模型需要多少GPU内存？ M = \frac{(P * 4B)} {(32/{Q}) } * 1.2 这个公式首先计算模型的全精度大小\(（P 阅读全文

posted @ 2024-08-18 20:30 蝈蝈俊 阅读(439) 评论(0) 推荐(0)