摘要：
chatglm.cpp的一个主要特点就是以量化的形式对大模型进行优化，使其在CPU上能够进行高效推理。 本文主要查看chatglm.cpp是如何对模型进行量化的 chatglm.cpp在使用时主要分成两步： 使用convert.py将模型进行量化，得到ggml格式 使用./build/bin/mai 阅读全文
posted @ 2023-11-08 22:00 Antel 阅读(514) 评论(0) 推荐(0)
|
摘要：
chatglm.cpp的一个主要特点就是以量化的形式对大模型进行优化，使其在CPU上能够进行高效推理。 本文主要查看chatglm.cpp是如何对模型进行量化的 chatglm.cpp在使用时主要分成两步： 使用convert.py将模型进行量化，得到ggml格式 使用./build/bin/mai 阅读全文
posted @ 2023-11-08 22:00 Antel 阅读(514) 评论(0) 推荐(0) |
||
浙公网安备 33010602011771号