2025年3月12日
KTransformers实战DeepSeek-R1-1.58bit量化模型
摘要： KTransformers实战DeepSeek-R1-1.58bit量化模型 本文介绍了国产的大模型推理工具KTransformers在本地成功运行的一个案例，在容器化部署的基础上，结合Open WebUI做了一个用户友好的大模型服务。 阅读全文
posted @ 2025-03-12 15:34 DECHIN 阅读(2240) 评论(0) 推荐(1)