我的随笔

Huggingface Transformers实现张量并行的小坑 set/get_output_embeddings

marsggbo 2024-05-06 11:17 阅读:439 评论:0 推荐:0

Pytorch 如何使用 storage 实现参数 offload？

marsggbo 2024-04-21 19:07 阅读:587 评论:0 推荐:0

TACC 集群使用笔记

marsggbo 2024-04-10 14:26 阅读:180 评论:0 推荐:0

图解 vLLM 的推理调度策略

marsggbo 2024-04-04 10:32 阅读:3098 评论:0 推荐:0

大模型推理框架 vLLM 源码解析（二）：Block 模块分配和管理

marsggbo 2024-03-23 20:48 阅读:6564 评论:0 推荐:1

OpenAI 的视频生成大模型Sora的核心技术详解（一）：Diffusion模型原理和代码详解

marsggbo 2024-02-22 16:49 阅读:1150 评论:0 推荐:4

大模型推理框架 vLLM 源码解析（一）

marsggbo 2024-02-04 18:14 阅读:10945 评论:1 推荐:2

vllm 安装踩坑 (The NVIDIA driver on your system is too old)

marsggbo 2024-01-15 20:35 阅读:6952 评论:9 推荐:0

IEEE 浮点数表示原理

marsggbo 2023-12-16 16:24 阅读:21 评论:0 推荐:0

LLM 学习笔记-Deepspeed-MoE 论文

marsggbo 2023-12-07 17:32 阅读:4480 评论:0 推荐:0