摘要：
目录param.data.copy_ 这个用法在 PyTorch 中的含义和功能。常见使用场景： param.data.copy_ 这个用法在 PyTorch 中的含义和功能。 首先，直接回答你的问题：是的，param.data (作为一个张量) 是有 copy_ 这个方法的。 接下来，我们详细解释 阅读全文
posted @ 2025-06-22 23:48
jack-chen666
阅读(162)
评论(0)
推荐(0)
摘要：
目录第一部分：位置编码技术发展简史阶段一：绝对位置编码 (Absolute Positional Encoding)阶段二：相对位置编码 (Relative Positional Encoding)阶段三：旋转位置编码 (Rotary Positional Embedding, RoPE)第二部分： 阅读全文
posted @ 2025-06-19 21:10
jack-chen666
阅读(2389)
评论(0)
推荐(0)
摘要：
目录代码一、MoE 核心思想：为什么要用“混合专家”？二、代码逐层深度解读三、总结与设计思考 代码 class Qwen3MoeSparseMoeBlock(nn.Module): def __init__(self, config): super().__init__() self.num_exp 阅读全文
posted @ 2025-06-19 20:50
jack-chen666
阅读(1074)
评论(0)
推荐(0)
摘要：
目录代码 先说结论： 模型不再需要为 lm_head 单独学习一个巨大的权重矩阵，而是直接“重用”embedding 的权重。 一、核心思想：模型的“输入”与“输出”为何要关联？ 要理解权重绑定，我们首先要理解语言模型的两个关键部分： 词嵌入层 (Input Embedding Layer)： 作用 阅读全文
posted @ 2025-06-19 20:38
jack-chen666
阅读(1430)
评论(0)
推荐(1)
摘要：
目录Decoder-Only架构代码解读Qwen3Attention - 注意力模块Qwen3MLP - 前馈网络模块Qwen3DecoderLayer - 单个解码器层Qwen3Model & Qwen3ForCausalLM - 顶层封装总结 参考：https://zhuanlan.zhihu. 阅读全文
posted @ 2025-06-19 20:19
jack-chen666
阅读(6601)
评论(1)
推荐(1)
摘要：
class MergedColumnParallelLinear(ColumnParallelLinear): def __init__( self, input_size: int, output_sizes: list[int], bias: bool = False, ): self.outp 阅读全文
posted @ 2025-06-19 19:43
jack-chen666
阅读(754)
评论(0)
推荐(0)
摘要：
好的，完全没有问题。我们来用中文详细介绍一下大模型中 “打包模块 (Packed Modules)” 和 “权重打包 (Weight Packing)” 这项关键技术。 这项技术并不是单一的某个方法，而是一系列优化策略的统称。它的核心目标非常明确：在保证模型效果的同时，大幅提升大模型的推理性能（速度 阅读全文
posted @ 2025-06-19 17:00
jack-chen666
阅读(408)
评论(0)
推荐(0)
摘要：
这段代码的核心目标是高效、安全地将预训练好的大模型权重从硬盘加载到内存（或指定的计算设备）中，并正确地赋值给 nn.Module 模型实例的各个参数。vLLM 是一个为大语言模型（LLM）推理设计的、非常高效的库，因此它的权重加载逻辑也经过了特殊优化，以处理模型并行、量化等复杂情况。 下面我们将逐行 阅读全文
posted @ 2025-06-19 16:41
jack-chen666
阅读(665)
评论(0)
推荐(0)
摘要：
safetensor 权重文件的加载 详细过程 深入理解大模型 Safetensors 权重文件的加载过程 作为一名大模型算法工程师，你肯定知道权重文件对于模型的运行至关重要。传统的 PyTorch 模型权重通常保存为 .bin 或 .pth 格式，这些格式在加载时存在一些安全隐患和效率问题。而 S 阅读全文
posted @ 2025-06-19 00:10
jack-chen666
阅读(1270)
评论(0)
推荐(0)
摘要：
BitVLA：首个面向机器人操作的1-bit VLA模型 https://mp.weixin.qq.com/s/WBETJE1DavXKUZCu3GxDbg BridgeVLA：基于视觉 - 语言模型的输入 - 输出对齐高效 3D 操作学习（字节最新） https://mp.weixin.qq.co 阅读全文
posted @ 2025-06-15 16:54
jack-chen666
阅读(136)
评论(0)
推荐(0)
浙公网安备 33010602011771号