我的随笔

Deepspeed ZeRO系列算法原理+通信开销详解

marsggbo 2024-06-26 23:39 阅读:344 评论:0 推荐:0

NSCC集群使用笔记

marsggbo 2024-06-09 21:19 阅读:471 评论:0 推荐:0

Huggingface Transformers实现张量并行的小坑 set/get_output_embeddings

marsggbo 2024-05-06 11:17 阅读:464 评论:0 推荐:0

Pytorch 如何使用 storage 实现参数 offload？

marsggbo 2024-04-21 19:07 阅读:642 评论:0 推荐:0

TACC 集群使用笔记

marsggbo 2024-04-10 14:26 阅读:205 评论:0 推荐:0

图解 vLLM 的推理调度策略

marsggbo 2024-04-04 10:32 阅读:3164 评论:0 推荐:0

大模型推理框架 vLLM 源码解析（二）：Block 模块分配和管理

marsggbo 2024-03-23 20:48 阅读:6874 评论:0 推荐:1

OpenAI 的视频生成大模型Sora的核心技术详解（一）：Diffusion模型原理和代码详解

marsggbo 2024-02-22 16:49 阅读:1264 评论:0 推荐:4

大模型推理框架 vLLM 源码解析（一）

marsggbo 2024-02-04 18:14 阅读:11316 评论:1 推荐:2

vllm 安装踩坑 (The NVIDIA driver on your system is too old)

marsggbo 2024-01-15 20:35 阅读:7087 评论:9 推荐:0