AIGC标识 Qwen4 27B 即将开源：显存怎么配、比 3.8 版强在哪

名字确认了，规格还没确认

截至 2026 年 9 月下旬，官方口径里能查到的只有四个名字：Qwen 4 Max、Qwen 4 Flash、Qwen 4 Plus 和 Qwen 4 27B。它们出现在 9 月 22 日云栖大会主题演讲的相关报道中，其中 27B 被描述为家族里的开源权重档位。但公众号式转述之外，Hugging Face 上还没有 Qwen 官方组织的 model card，没有 LICENSE，没有 API 标识，也没有日期。

所以这篇文章不打算预测"它一定多强"，而是把三件事算清楚：它可能走哪条架构路线、显存账单大概是多少、以及等权重落地当天你该下哪个文件。判断依据是两个已经存在的东西——8 月发布、Apache 2.0 的 Qwen3.8-27B（它的直接前代），以及 8 月 26 日放出的架构预览 Qwen3.8-Flash-Next（Qwen 自己称之为"Qwen4 所用架构的早期预览"）。

前者的意义在于：27B 这个尺寸已经连续两代（Qwen3.6-27B、Qwen3.8-27B）都走 Apache 2.0 开源，商用、修改、再分发都不需要额外授权。后者的意义在于：它决定"27B"这个数字将来还代表不代表同样的东西。

两种形态：dense 还是 qwen4_exp

形态 A：延续 dense 路线。 27B 权重全部激活，模型类型沿用 qwen3_5 家族，量化预算和今天完全一样。这是最省心的假设。Qwen3.8-27B 的一个细节值得记住：64 层里只有 16 层用全注意力，其余用线性/压缩结构，所以 KV cache 大约只有常规 27B 的四分之一——但 20 万 token 的长会话仍然会额外吃掉数 GB 显存。

形态 B：走 Flash-Next 的 qwen4_exp。 这条路线的账本完全不同。Qwen3.8-Flash-Next 的模型卡给出的口径是：主模型 125B 参数（512 个路由专家，每 token 激活 10 个路由专家 + 1 个共享专家，约 6B 激活），外加一张 51B 的 n-gram 嵌入表，再加一个约 4B 的 MTP（多 token 预测）头。整包约 180B 参数，BF16 在磁盘上约 360GB。

它的四个构件的取舍很清楚：

  • GDN + QSA：每四层里三层用 Gated DeltaNet 压缩历史，第四层用 Qwen Sparse Attention 做精确长程检索。官方称在 100 万 token 时，QSA 把 attention kernel 的 prefill 提速到 10.2 倍、decode 提速到 6.6 倍。
  • Gated Residual：四条残差分支动态控制跨层读写。
  • N-gram Embedding：51B 的查表层，因为查表位置可以提前确定，Qwen 明确把它设计成放主机内存、异步预取，而不是占显存。llama.cpp 的实现说明里给出的数字是 BF16 下约 97.7 GiB，行查找在 host 侧完成。vLLM 侧对应的开关是 VLLM_PLE_CPU_OFFLOAD=1。
  • MTP：内置投机解码头，不需要外挂 draft model。

这里最容易踩的坑是"6B 激活"这四个字。它描述的是每 token 的计算量，不是内存占用。未激活的专家并不会消失，运行时仍需要能访问整个权重池；n-gram 表也不是密集矩阵乘，而是查表。所以 Flash-Next 的问题从"我需要多少 VRAM"变成了"VRAM、系统内存、NVMe 这三层怎么配合"。

对 Qwen4 27B 的含义： 如果它是 dense 的，直接套用今天 27B 的预算表即可。如果它抄了 Flash-Next 的作业，那么"27B"可能指的是"主模型 27B + 一张独立的查表 + MTP 头"，内存规划要按异构内存来做，而且运行时的成熟度会明显落后——新架构支持通常要等社区追几天到几周。

代际差距的可量化基线

Qwen3.8-27B 在 Artificial Analysis 的 Intelligence Index 上，截至 9 月 22 日的读数是：默认 xhigh 推理强度下 52 分，medium 44 分，low 43 分。注意这个 52 分是在托管的全精度服务上测的；本地 4-bit 跑出来会低一些，目前没有人给出公开的对照测量。

这就给出了 Qwen4 27B 的"及格线"：如果它的 4-bit 本地版本打不到 52 分附近，那这次升级对本地用户就没有实际意义。反过来说，如果 leaked 样本里"向闭源旗舰看齐"的说法成立，冲击点也不在榜单名次，而在单位显存的能力：一个能塞进单张 24GB 卡、能力接近闭源旗舰的小模型，会直接改写端侧和私有部署的经济性。

显存账单：五档量化对照

下表是 Qwen3.8-27B 的 Unsloth Dynamic 3.0 构建（2026 年 9 月 22 日口径），可作为 dense 形态的规划参考：

你有的内存 构建 下载体积 能做什么
8GB RAM UD-IQ1_S（1-bit） 6.2GB 能加载、答短问题；工具调用不可用
12GB RAM / 8GB VRAM UD-Q2_K_XL（2-bit） 9.8GB Unsloth 推荐的最小构建；聊天、草稿、摘要
16GB RAM / 12GB VRAM UD-Q3_K_XL（3-bit） 13.1GB 日常聊天、读文档、轻量写码
24GB GPU 或 24GB Mac UD-Q4_K_M（4-bit） 16.5GB 实用默认档，多数工作满能力
32GB+ 统一内存 UD-Q6_K（6-bit） 22GB 接近参考质量，长会话有余量

下载体积只是权重。算总账时还要加 KV cache（长上下文）、运行时缓冲、视觉塔和系统开销。有一份面向 Qwen4 27B 的前瞻性整理给出的 4-bit 预估是约 17GB，和上表的 16.5GB 基本吻合。

速度侧的公开实测（均为短上下文，长上下文会明显下降）：

  • Q4_K_M 在 RTX 4090 级显卡上用 llama.cpp、不开 draft model：约 49 tok/s；
  • 开 MTP 后，有人在 RTX 3090 上测到 Qwen3.8-27B 59 tok/s；
  • M5 Max 上 Ollama 的 MLX 配置：24–56 tok/s。

如果 Qwen4 27B 走 Flash-Next 路线，预算表要整个换算成 GB 级别。Qwen3.8-Flash-Next 的社区 GGUF 构建：UD-IQ4_XS 约 93.7GB，UD-Q4_K_XL 约 111GB，Q6 约 169GB，Q8 约 188GB，官方 BF16 约 360GB。MLX 的 4-bit 包在 M4 Max 上常驻约 75GB、串行约 60 tok/s，开 MTP 约 78 tok/s。

怎么跑：三套可用的命令

dense 27B 档（以 Qwen3.8-27B 为代理，权重落地后替换模型名即可）：

# llama.cpp：单卡 24GB 的默认档
llama-server \
  --model Qwen3.8-27B-UD-Q4_K_M.gguf \
  --ctx-size 32768 \
  --gpu-layers 99 \
  --flash-attn auto \
  --jinja

# 显存只有 16GB：降一档量化再加部分 GPU 卸载
llama-server --model Qwen3.8-27B-UD-Q3_K_XL.gguf \
  --n-gpu-layers 40 --ctx-size 16384

Flash-Next 形态（如果 Qwen4 27B 走这条路，服务端参照官方已验证配置）：

# 4x H100：80GB 不够放 51B n-gram 表，必须开 PLE 主机侧 offload
VLLM_PLE_CPU_OFFLOAD=1 vllm serve Qwen/Qwen3.8-Flash-Next-FP8 \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.85 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

这份 recipe 同时注明：FP8 checkpoint 为 172.78 GiB，GB300 上 TP2 是最小验证配置；8x H200 上 FP8 要用 TEP8，普通 TP8 与其 128 宽的量化块不兼容；4x H100 开 PLE offload 后在并发 64、1024 进 256 出的负载下能稳定在约 1430 输出 tok/s。n-gram 表还要额外准备至少 51GB 主机内存。

推荐配置与适合谁

12–16GB 显存：只能跑 2–3 bit 的 dense 27B。适合试水、摘要、轻量 Agent；不适合要求工具调用稳定性的场景。Flash-Next 形态完全不用考虑。

单卡 24GB（3090 / 4090 / 24GB Mac mini）：这是 27B 档的甜点，也是 Qwen 连续两代把开源小模型定在 27B 的原因——4-bit 刚好塞得下，KV cache 还有余量。这是我最推荐的性价比配置，开 MTP 后速度可用。

32–48GB（RTX 5090 / 双卡 / 48GB 工作站卡）：可以上 Q6 甚至部分 8-bit，长会话和多人共享更从容；也可作为 Flash-Next 形态的 GPU 加速端，但整包仍需主机内存兜底。

96–256GB 统一内存 / 多卡服务器：这才是 Flash-Next 形态的现实区间。系统内存 128GB 只是实验起点（约 94GB 的 4-bit 模型留给系统、缓冲、上下文不到 34GB），192–256GB 才舒服。GPU 侧 96GB 加 128–192GB 内存属于高端本地工作站配置。

适合谁用：有 24GB 显卡或 24–32GB 统一内存的个人开发者、需要数据不出内网的团队、以及要把 27B 当 Agent 底座做私有化的人。不适合谁：指望用 16GB Mac mini 跑 27B 的人；以及想要 Flash-Next 那类长上下文能力、却只有 32–64GB 内存的机器——那会持续依赖 SSD 分页，能加载不等于能用。

取舍

Qwen3.8 这一代把三档拆成了三种授权：27B 是 Apache 2.0，Flash-Next 走 Qwen Community License 1.0（有月活和营收门槛条款），2.4T-A95B 是定制许可且仅文本。开源 27B 原生支持 262,144 token，要上 100 万需要自己配 YaRN；托管档则默认 100 万上下文和内置工具。这意味着"开源"买的不是能力等同，而是：权重在自己手里、跑在自己硬件上、条款不会事后被改。

落地时的两个现实风险要提前认：一是若 Qwen4 27B 用新架构，llama.cpp 的支持从 8 月 27 日才合并，SGLang 的相关 PR 到 9 月 18 日才处理文件映射的 n-gram 表，社区量化、视觉路径和各 GPU 后端的成熟度需要时间，且已报告过 262,144 token 处 kernel 启动失败的边界问题；二是若它维持 dense 路线，那就没有"架构红利"可吃，升级点只在于训练质量的代际提升，而 4-bit 本地的实际分数目前无人测量。

在 model card 出现之前，唯一稳妥的策略是：按 dense 27B 的 24GB 预算准备，别为 Flash-Next 提前买内存。今天基于 Qwen3.8-27B 搭的任何东西都不会白费。

参考链接

  1. Qwen3.8-Flash-Next vLLM 部署 recipe（含 FP8 体积、TP/TEP 配置、PLE offload）— https://recipes.vllm.ai/Qwen/Qwen3.8-Flash-Next
  2. NVIDIA Dynamo：Qwen3.8-Flash-Next 部署文档（NVFP4、MTP3、主机内存 ≥51GB）— https://docs.nvidia.com/dynamo/dev/recipes/qwen-3-8-flash-next
  3. Unsloth：Qwen3.8-Flash-Next 本地运行与量化 KLD 分析 — https://unsloth.ai/docs/modelle/qwen3.8-next
  4. llama.cpp 实现说明（n-gram 表 BF16 约 97.7 GiB、host 侧行查找），转引自 Zima Space 本地硬件分析 — https://shop.zimaspace.com/blogs/tech-ai-hub/qwen3-8-flash-next-locally-ram-vram-nvme
  5. MLX Serve v26.8.11 发布说明（M4 Max 上 4-bit 包约 75GB、60 tok/s、MTP 78 tok/s）— https://github.com/ddalcu/mlx-serve/releases/tag/v26.8.11-pre-release.1
  6. Hugging Face：Qwen3.8-Flash-Next MLX 4-bit + MTP 构建（模型类型 qwen4_exp、许可与分片信息）— https://huggingface.co/EigenLabs/Qwen3.8-Flash-Next-MLX-4bit-mtp
  7. Qwen 4 27B 本地运行硬件要求（量化体积、rtx 4090/3090 实测速度、Artificial Analysis 分数）— https://www.modemguides.com/blogs/ai-infrastructure/run-qwen-4-27b-locally-hardware-requirements
  8. Qwen 4 各档位发布状态与授权梳理 — https://aitoolsreview.co.uk/insights/qwen-4

创作说明：本文在资料整理与成文中使用了 AI 辅助（DeepSeek），经作者审阅后发布，作者对内容负责。

posted @ 2026-10-12 10:48  frankzch  阅读(408)  评论(0)    收藏  举报