2025年2月21日
DeepSeek本地性能调优
摘要： DeepSeek本地性能调优 对于本地模型的加载来说，除了使用KTransformer等工具进行指令集层面的优化之外，还可以调整模型加载层数，做一个简单的优化。这里提供了一个num_gpu和num_ctx参数调整的策略，实测Tokens性能最大可优化10倍左右。 阅读全文
posted @ 2025-02-21 10:53 DECHIN 阅读(2819) 评论(0) 推荐(0)