摘要： 注：本文已于2025.11.30 发表于知乎和公众号 1. 简介 前序的三篇笔记，先系统总结各种SGLang 分布式集群模式，然后对TP 集群的完整执行流程做解析，再重点介绍 PP 集群的任务调度和分布式通信。本文将讲解 DP Attention 集群，聚焦在任务调度和分布式通信，并着重介绍模型层 阅读全文

摘要： 注：本文已于2025.10.26 发表于知乎和公众号 1. 简介 前序的两篇笔记，先系统总结所有 SGLang 分布式集群模式，然后介绍 TP 集群处理请求的完整流程。本文将对 PP 集群做介绍，重点讲解流水线调度、分布式通信组以及通信量推导。PP 模式将模型中的多个层拆分到不同的 GPU 上，集群 阅读全文