摘要：
关于 vLLM "--chat-template" 参数的非常常见且重要的问题。简单来说，这个参数决定了 vLLM 如何将多轮对话（系统、用户、助手消息）格式化成一个单一的字符串，以便模型能够正确理解。 首选：不设置，让 vLLM 自动加载。 对于大多数发布在 Hugging Face Hub 上的 阅读全文
posted @ 2025-06-24 09:44
jack-chen666
阅读(143)
评论(0)
推荐(0)
摘要：
第一步：强化学习到底是什么？ (The Big Picture) 想象一下你正在训练一只小狗。这个过程和强化学习非常相似： 智能体 (Agent)：你的小狗。在RL中，这就是我们试图训练的模型或算法。 环境 (Environment)：你所在的房间或公园。在RL中，这是智能体所处的外部世界。 状态 阅读全文
posted @ 2025-06-23 09:16
jack-chen666
阅读(8)
评论(0)
推荐(0)
摘要：
目录param.data.copy_ 这个用法在 PyTorch 中的含义和功能。常见使用场景： param.data.copy_ 这个用法在 PyTorch 中的含义和功能。 首先，直接回答你的问题：是的，param.data (作为一个张量) 是有 copy_ 这个方法的。 接下来，我们详细解释 阅读全文
posted @ 2025-06-22 23:48
jack-chen666
阅读(5)
评论(0)
推荐(0)
摘要：
目录第一部分：位置编码技术发展简史阶段一：绝对位置编码 (Absolute Positional Encoding)阶段二：相对位置编码 (Relative Positional Encoding)阶段三：旋转位置编码 (Rotary Positional Embedding, RoPE)第二部分： 阅读全文
posted @ 2025-06-19 21:10
jack-chen666
阅读(75)
评论(0)
推荐(0)
摘要：
目录代码一、MoE 核心思想：为什么要用“混合专家”？二、代码逐层深度解读三、总结与设计思考 代码 class Qwen3MoeSparseMoeBlock(nn.Module): def __init__(self, config): super().__init__() self.num_exp 阅读全文
posted @ 2025-06-19 20:50
jack-chen666
阅读(82)
评论(0)
推荐(0)
摘要：
目录代码 先说结论： 模型不再需要为 lm_head 单独学习一个巨大的权重矩阵，而是直接“重用”embedding 的权重。 一、核心思想：模型的“输入”与“输出”为何要关联？ 要理解权重绑定，我们首先要理解语言模型的两个关键部分： 词嵌入层 (Input Embedding Layer)： 作用 阅读全文
posted @ 2025-06-19 20:38
jack-chen666
阅读(53)
评论(0)
推荐(0)
摘要：
目录Decoder-Only架构代码解读Qwen3Attention - 注意力模块Qwen3MLP - 前馈网络模块Qwen3DecoderLayer - 单个解码器层Qwen3Model & Qwen3ForCausalLM - 顶层封装总结 参考：https://zhuanlan.zhihu. 阅读全文
posted @ 2025-06-19 20:19
jack-chen666
阅读(215)
评论(0)
推荐(0)
摘要：
class MergedColumnParallelLinear(ColumnParallelLinear): def __init__( self, input_size: int, output_sizes: list[int], bias: bool = False, ): self.outp 阅读全文
posted @ 2025-06-19 19:43
jack-chen666
阅读(57)
评论(0)
推荐(0)
摘要：
好的，完全没有问题。我们来用中文详细介绍一下大模型中 “打包模块 (Packed Modules)” 和 “权重打包 (Weight Packing)” 这项关键技术。 这项技术并不是单一的某个方法，而是一系列优化策略的统称。它的核心目标非常明确：在保证模型效果的同时，大幅提升大模型的推理性能（速度 阅读全文
posted @ 2025-06-19 17:00
jack-chen666
阅读(30)
评论(0)
推荐(0)
摘要：
这段代码的核心目标是高效、安全地将预训练好的大模型权重从硬盘加载到内存（或指定的计算设备）中，并正确地赋值给 nn.Module 模型实例的各个参数。vLLM 是一个为大语言模型（LLM）推理设计的、非常高效的库，因此它的权重加载逻辑也经过了特殊优化，以处理模型并行、量化等复杂情况。 下面我们将逐行 阅读全文
posted @ 2025-06-19 16:41
jack-chen666
阅读(28)
评论(0)
推荐(0)
浙公网安备 33010602011771号