zz基于bitsandbytes的大模型量化的底层逻辑与实战

https://zhuanlan.zhihu.com/p/1926404665517536405

显存减半，性能不减：基于bitsandbytes的大模型量化的底层逻辑与实战

 

里面有一些代码，勉强能跑起来

 

这篇参考：

https://zhuanlan.zhihu.com/p/665601576