查看GPU显卡架构及计算能力

查看GPU显卡架构及计算能力：

nvidia-smi --query-gpu=name,compute_cap --format=csv

输出示例：

name, compute_cap
NVIDIA RTX A5000, 8.6
NVIDIA H100, 9.0

Compute Capability（计算能力）对应架构：
8.0 / 8.6 → Ampere（A100=8.0, A5000/3090=8.6）
8.9 → Ada Lovelace（4090/L40S）
9.0 → Hopper（H100）

只有 compute_cap >= 9.0 才原生支持 FP8/INT4 计算

< 9.0 → 仅能做量化存储，不能加速计算

 

A5000：

A100：