摘要:
本文由 GPUStack 社区用户投稿整理,介绍如何将 MinerU Fast API 接入 GPUStack,通过自定义推理后端实现复杂 PDF 解析服务的部署与调用。 阅读全文
本文由 GPUStack 社区用户投稿整理,介绍如何将 MinerU Fast API 接入 GPUStack,通过自定义推理后端实现复杂 PDF 解析服务的部署与调用。 阅读全文
posted @ 2026-07-24 18:23
GPUStack
阅读(238)
评论(0)
推荐(0)

Inkling 是由 Thinking Machines Lab 发布的新一代开源多模态大语言模型,采用 Mixture-of-Experts(MoE)Transformer 架构,支持文本、图像和音频等多模态输入,并生成文本输出。模型拥有约 975B 总参数、41B 激活参数,并支持最长 1M t
本文由 GPUStack 社区用户实测分享整理。GLM-5.2-FP8-DSpark 是在 GLM-5.2-FP8 基础上,通过挂载 RedHatAI 提供的外置草稿模型(Speculator)做投机解码(Speculative Decoding)的增强方案——同一份主模型权重,额外加载一个草稿模型,用来提升解码吞吐。社区用户在模型放出当天(Day 0)就在 **8 卡 H20-141G** 环境上,通过 GPUStack 完成了部署,并和原生 GLM-5.2-FP8 做了同硬件对比压测。
MiniMax-M3 是 MiniMax 最新开源的原生多模态大模型,约428B 总参数/23B激活参数,原生支持1M上下文。本文基于 GPUStack 与VLLM,演示从镜像与权重准备、模型部署、对话实测到基准测试的完整流程,并实测了基于 EAGLE3 的投机解码加速。
NVIDIA H200/H20 141GB 环境部署 DeepSeek-V4-Pro 的实践教程、压测性能表现,以及针对压测表现提供的稳定性配置建议。
在昇腾 910B 环境部署 DeepSeek-V4 的实践教程。
浙公网安备 33010602011771号