Nsight System报告分析技巧

Nsight System报告分析技巧

1. 调度压力

GPU侧算力越强，CPU的调度压力越大

2. CPU和GPU是否打满

有时候，CPU调度比GPU算的快，那么就会出现CPU空闲等待GPU的情况；反过来就是GPU等待CPU，但是如果两者同时空闲，就说明不正常了。

3. 区分程序问题和环境问题

如果异常情况不是在每个epoch都出现，而是随机分布，那么大概率不是程序的问题，而是环境负载异常，甚至也可能是硬件问题导致的。