摘要： llama.cpp 是使用 C/C++ 编写的高性能推理框架，没有外部依赖，因此可以跨平台快速部署。并且，llama.cpp 还支持多种硬件平台上的计算库，包括 Metal、BLAS、CUDA、Vulkan、CANN 等，以加速模型的推理。此外，llama.cpp 还支持多种量化方案以加快推理速度并 阅读全文