当前标签：大模型

图解 vLLM 的推理调度策略
marsggbo 2024-04-04 10:32 阅读:3071 评论:0 推荐:0
大模型推理框架 vLLM 源码解析（二）：Block 模块分配和管理
marsggbo 2024-03-23 20:48 阅读:6460 评论:0 推荐:1
大模型推理框架 vLLM 源码解析（一）
marsggbo 2024-02-04 18:14 阅读:10837 评论:1 推荐:2
LLM 学习笔记-Deepspeed-MoE 论文
marsggbo 2023-12-07 17:32 阅读:4421 评论:0 推荐:0
LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？
marsggbo 2023-12-02 12:52 阅读:3696 评论:0 推荐:0
LLM 入门笔记-Tokenizer
marsggbo 2023-12-01 17:00 阅读:1277 评论:0 推荐:0
大模型训练过程中用到的 gpt_merge.txt和gpt_vocab.json是干什么用的？
marsggbo 2023-11-26 19:18 阅读:352 评论:0 推荐:0
《Transformer Quality in Linear Time》论文解读
marsggbo 2023-06-24 09:49 阅读:1026 评论:0 推荐:0