torch.float8_e4m3fn和 torch.float8_e5m2

https://zhuanlan.zhihu.com/p/699560595

使用FP8加速PyTorch训练的两种方法总结

 

https://zhuanlan.zhihu.com/p/1910049304422377356

E4M3 用于权重、E5M2 用于激活值

 

https://blog.csdn.net/gitblog_00805/article/details/142244809

PyTorch Float8 实验项目教程