一行命令，找到最适合你硬件的本地大模型

基石项目精选 — 破除AI时代的创业迷茫。全网猎取高热度与真痛点需求，为你提供实战参考。它山之石可以攻玉，取其精华，锻手中大刀。

本地运行大模型这件事，最大的痛点不是「能不能跑」，而是「跑哪个最好」。HuggingFace 上数万个模型，参数从 1B 到 700B，量化版本从 Q2 到 Q8，你根本不知道哪个能在你的显卡上流畅运行，更不知道哪个效果最好。一个个试过去？光是下载就要等到天荒地老。今天基石项目精选给大家推荐一个 GitHub 上的宝藏项目——whichllm，它用一个命令解决这个烦人的选择题，Star 数已经突破 5100，趋势榜常客。

whichllm 的核心思路非常简单：自动检测你的 GPU、CPU 和内存配置，然后从 HuggingFace 实时拉取模型数据，综合 LiveBench、Chatbot Arena ELO、Open LLM Leaderboard 等多个权威基准的真实跑分，结合硬件兼容性和生成速度，给你排出当前机器上真正能跑、效果最好的模型榜单。不是简单按参数量排序，而是证据驱动的智能推荐。

技术方案上，whichllm 的亮点相当多。首先是硬件检测层，支持 NVIDIA（通过 nvidia-ml-py）、AMD（ROCm/dbgu）、Intel、Apple Silicon（Metal）全平台自动识别，连 CPU-only 模式都不落下。其次是VRAM 估算引擎，它不只是简单地算参数量，而是精确到「权重 + KV Cache + 激活值 + 框架开销」的总和，避免你下载了一个理论上能跑、实际 OOM 的模型。在打分体系上尤其细致——benchmark 质量占核心权重，模型大小、量化级别、证据置信度（direct/variant/base/interpolated/self-reported 五级）、运行速度、来源可信度、社区热度都有各自的计算逻辑，不是拍脑袋的排名。

更酷的是它的GPU 模拟功能。比如你在纠结要不要买 RTX 5090，直接跑 whichllm --gpu RTX 5090，就能看到这块卡上能跑什么模型、速度多少、得分如何。多卡场景也支持：--gpu 2x RTX 4090。这在规划硬件升级时简直不要太实用。

whichllm 还内置了一键聊天功能——whichllm run qwen 2.5 1.5b gguf，自动下载模型、安装依赖、启动聊天界面，全程不用手动操作。另外 whichllm snippet 可以直接生成可复制的 Python 推理代码，whichllm plan llama 3 70b 还能反向查「要跑这个模型需要什么显卡」，功能设计非常贴心。纯 Python 3.11+ 编写，MIT 开源协议，安装只需 pip install whichllm 或者 uvx whichllm@latest 一行命令即可体验。

总的来说，whichllm 是一个实用到让人感动的工具——它不搞花哨的 UI，不堆参数，就是踏踏实实帮你回答一句话：「在你的机器上，现在最好的本地大模型是什么」。无论你是想在自己的笔记本上跑个日常助手，还是在工作站上搭建本地推理服务，甚至是规划硬件采购，whichllm 都能让你少走无数弯路。项目更新非常活跃，社区反馈也很好，强烈推荐关注。

🔗 项目地址：https://github.com/Andyyyy64/whichllm