2025年2月17日
DeepSeek模型量化
摘要： DeepSeek模型量化 这篇文章主要介绍了llama.cpp这一大模型工具的使用。因为已经使用Ollama来run大模型，因此仅介绍了llama.cpp在HF模型转GGUF模型中的应用，及其在大模型量化中的使用。大模型的参数量化技术，使得我们可以在本地有限预算的硬件条件下，也能够运行DeepSeek的蒸馏模型。 阅读全文
posted @ 2025-02-17 14:11 DECHIN 阅读(3394) 评论(2) 推荐(0)