RPM、TPM，名词解释

RPM 和 TPM 是 AI 大模型 API 中常见的速率限制单位。

RPM（Requests Per Minute）

• 含义：每分钟请求数（Requests Per Minute）
• 解释：一分钟内最多可以发送多少次 API 请求。
• 例子：如果限额是 60 RPM，就意味着平均每秒只能发 1 次请求，超过就会被限流（返回 429 错误）。

TPM（Tokens Per Minute）

• 含义：每分钟 Token 数（Tokens Per Minute）
• 解释：一分钟内最多可以处理多少个 Token（包括输入 + 输出）。
• 例子：如果限额是 100,000 TPM，那么输入和输出加起来不能超过这个数量，否则也会被限流。

简单对比

缩写	全称	限制对象	常见影响
RPM	Requests Per Minute	请求次数	并发调用、频繁小请求
TPM	Tokens Per Minute	Token 用量	长文本、大模型输出、高并发

两者通常会同时存在，任何一个超限都会触发限流。实际使用时，建议同时关注这两个指标，并做好重试和排队策略。