摘要：
目录代码一、MoE 核心思想：为什么要用“混合专家”？二、代码逐层深度解读三、总结与设计思考 代码 class Qwen3MoeSparseMoeBlock(nn.Module): def __init__(self, config): super().__init__() self.num_exp 阅读全文
posted @ 2025-06-19 20:50
jack-chen666
阅读(523)
评论(0)
推荐(0)
摘要：
目录代码 先说结论： 模型不再需要为 lm_head 单独学习一个巨大的权重矩阵，而是直接“重用”embedding 的权重。 一、核心思想：模型的“输入”与“输出”为何要关联？ 要理解权重绑定，我们首先要理解语言模型的两个关键部分： 词嵌入层 (Input Embedding Layer)： 作用 阅读全文
posted @ 2025-06-19 20:38
jack-chen666
阅读(499)
评论(0)
推荐(0)
摘要：
目录Decoder-Only架构代码解读Qwen3Attention - 注意力模块Qwen3MLP - 前馈网络模块Qwen3DecoderLayer - 单个解码器层Qwen3Model & Qwen3ForCausalLM - 顶层封装总结 参考：https://zhuanlan.zhihu. 阅读全文
posted @ 2025-06-19 20:19
jack-chen666
阅读(2555)
评论(1)
推荐(1)
摘要：
class MergedColumnParallelLinear(ColumnParallelLinear): def __init__( self, input_size: int, output_sizes: list[int], bias: bool = False, ): self.outp 阅读全文
posted @ 2025-06-19 19:43
jack-chen666
阅读(367)
评论(0)
推荐(0)
摘要：
好的，完全没有问题。我们来用中文详细介绍一下大模型中 “打包模块 (Packed Modules)” 和 “权重打包 (Weight Packing)” 这项关键技术。 这项技术并不是单一的某个方法，而是一系列优化策略的统称。它的核心目标非常明确：在保证模型效果的同时，大幅提升大模型的推理性能（速度 阅读全文
posted @ 2025-06-19 17:00
jack-chen666
阅读(171)
评论(0)
推荐(0)
摘要：
这段代码的核心目标是高效、安全地将预训练好的大模型权重从硬盘加载到内存（或指定的计算设备）中，并正确地赋值给 nn.Module 模型实例的各个参数。vLLM 是一个为大语言模型（LLM）推理设计的、非常高效的库，因此它的权重加载逻辑也经过了特殊优化，以处理模型并行、量化等复杂情况。 下面我们将逐行 阅读全文
posted @ 2025-06-19 16:41
jack-chen666
阅读(287)
评论(0)
推荐(0)
摘要：
safetensor 权重文件的加载 详细过程 深入理解大模型 Safetensors 权重文件的加载过程 作为一名大模型算法工程师，你肯定知道权重文件对于模型的运行至关重要。传统的 PyTorch 模型权重通常保存为 .bin 或 .pth 格式，这些格式在加载时存在一些安全隐患和效率问题。而 S 阅读全文
posted @ 2025-06-19 00:10
jack-chen666
阅读(590)
评论(0)
推荐(0)
浙公网安备 33010602011771号