2025年8月26日
关于大模型系统吞吐量计算的方法
摘要： 基本概念及计算公式 flops：指完成该任务所需的总和浮点计算次数 对于一个transformer架构的模型而言，使用改一个参数量为m的模型，计算n个token所需的算力flops通常可以近似为\(2 \times m \times n\)。其中常数2由一次乘法和一次加法分别贡献。 具体细节可见下文 阅读全文
posted @ 2025-08-26 19:31 AlphaInf 阅读(258) 评论(0) 推荐(0)