2025年12月17日
llama.cpp Server 引入路由模式：多模型热切换与进程隔离机制详解
摘要： llama.cpp server在 2025年12月11日发布的版本中正式引入了 router mode（路由模式），如果你习惯了 Ollama 那种处理多模型的方式，那这次 llama.cpp 的更新基本就是对标这个功能去的，而且它在架构上更进了一步。 https://avoid.overfit. 阅读全文
posted @ 2025-12-17 21:46 deephub 阅读(8) 评论(0) 推荐(0)