2023年10月3日
大语言模型LLM推理及训练显存计算方法
摘要： 一、推理：显存计算 推理的显存大头就是：参数量，参数类型版本一般有以下四种： float 32位 浮点数 4 字节 half / BF16 16位 浮点数 2 字节 int8 8位 整数 1 字节 int4 4位 整数 0.5 字节 以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = 阅读全文
posted @ 2023-10-03 20:30 tommickey 阅读(7124) 评论(0) 推荐(1)