随笔分类 - Apple Silicon
摘要:每一台 Apple Silicon Mac 都能跑本地大模型。问题不是能不能,而是跑哪个、跑多快。一个"能装进去"但只有 3 tok/s 的模型根本没法用。一个更小但 40 tok/s 的模型才是正解。 本文按内存大小逐级推荐模型,附真实性能数据。不讲"看情况"——给你具体答案,装上就能跑。 文章目
阅读全文
摘要:MacBook Air 跑大模型实测:Ollama、llama.cpp、LM Studio 谁才是本地推理之王? 上周在咖啡店,隔壁桌两个开发者在争论本地跑大模型的事。一个说 Ollama 无脑装就行,另一个非说 llama.cpp 性能最强。我插了句"都用过",结果被拉过去聊了半小时。 确实,现在
阅读全文

浙公网安备 33010602011771号