摘要：
对前置相关知识, ray框架的基础学习. 阅读全文
posted @ 2025-06-23 14:54
SunStriKE
阅读(553)
评论(0)
推荐(0)
摘要：
以veRL代码阅读为基础学习postTraing框架, 本篇主要对论文原理进行学习 阅读全文
posted @ 2025-06-20 19:22
SunStriKE
阅读(1293)
评论(0)
推荐(0)
摘要：
Sglang代码细读的最后一篇, 主要集中分析了框架中的二级显存池, cache复用相关的ChunkCache/RadixCache, 以及PD分离后KVCache是如何进行传输的 这三部分内容 阅读全文
posted @ 2025-05-22 16:24
SunStriKE
阅读(1896)
评论(0)
推荐(0)
摘要：
主要记录了sglang 从scheduleBatch开始如何进行forward推理, 通过采样得到最后输出的token过程. 阅读全文
posted @ 2025-05-20 21:30
SunStriKE
阅读(1513)
评论(0)
推荐(0)
摘要：
基于SgLang开源主干PD分离实现的代码细读, 第一部分主要包括从request到batch过程中框架是如何处理的 阅读全文
posted @ 2025-05-19 14:33
SunStriKE
阅读(3146)
评论(0)
推荐(0)
摘要：
对triton中的基本语法和cuda进行对照学习 阅读全文
posted @ 2025-02-21 21:04
SunStriKE
阅读(543)
评论(0)
推荐(0)
摘要：
deepseek-v3论文中 AIInfra相关的技术学习 阅读全文
posted @ 2025-02-12 21:15
SunStriKE
阅读(1400)
评论(0)
推荐(0)
摘要：
megatron 源码阅读第二篇, 看了TP和PP的对应实现 阅读全文
posted @ 2025-02-06 20:28
SunStriKE
阅读(906)
评论(0)
推荐(0)
摘要：
以pretrain_gpt.py为例, 看megatron的整体逻辑. 本章主要包括megatron初始化相关逻辑, 核心函数为initialize_megatron, setup_model_and_optimizer两个 initialize_megatron parse_args 从argpa 阅读全文
posted @ 2025-01-13 16:15
SunStriKE
阅读(792)
评论(0)
推荐(0)
摘要：
LLM并行训练-总结: 如何调整混合并行策略和nvidia训练GPT3的分析 阅读全文
posted @ 2024-07-29 21:29
SunStriKE
阅读(1432)
评论(0)
推荐(0)
浙公网安备 33010602011771号