2025年6月19日
[基础] GPU体系结构
摘要： 整体架构 物理模块 包含关系为：GPC > TPC > SM > CORE GPC(Graphics Processing Clusters 图形处理簇)：GPC负责处理图形渲染和计算任务。每个GPC包含多个TPC，以及与其相关的专用硬件单元和缓存。 TPC(Texture Processing C 阅读全文
posted @ 2025-06-19 21:29 fariver 阅读(238) 评论(0) 推荐(0)
[Paper Reading] MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs
摘要： 目录TL;DR大规模高效训练算法优化通信重叠优化其他优化容错设计(Fault Tolerance)数据收集与分析诊断测试Fast Checkpointing and RecoveryExperiment相关链接 MegaScale: Scaling Large Language Model Trai 阅读全文
posted @ 2025-06-19 20:34 fariver 阅读(57) 评论(0) 推荐(0)