摘要：
线程块： 三维向量， 线程索引： index = x + yDx + zDx * Dy 假如 Dx = 10, Dy = 20 , Dz = 30,对于线程(2, 5, 9) 的index = 2 + 5 * 10 + 9 * 10 * 20 = 1852, 总线程数 Dx * Dy * Dz = 阅读全文
posted @ 2025-04-25 14:47
xiezhengcai
阅读(78)
评论(0)
推荐(0)
摘要：
通讯模式：多个线程合作解决一个问题，常见的合作模式称为Communication Patterns 映射：map 聚合：gather 分散：scatter 模板：stencil 转换：transpose 压缩：reduce 重排：scan/sort cuda编程的特点： 对线程块在何处、何时运行不做 阅读全文
posted @ 2025-04-22 13:58
xiezhengcai
阅读(26)
评论(0)
推荐(0)
摘要：
配置参数说明 微调相关 --enable-lora：启用 LoRA 适配器。 --enable-lora-bias：启用 LoRA 偏置。 --max-loras：单批次最大 LoRA 数量。 --max-lora-rank：最大 LoRA 等级。 --lora-extra-vocab-size：L 阅读全文
posted @ 2025-04-03 19:19
xiezhengcai
阅读(1049)
评论(0)
推荐(0)
摘要：
在流程图中清晰标注张量形状和维度语义的关键是建立结构化标注规则，既要体现数值变换又要保留语义信息。以下是具体建议： 一、基础形状标注模板 建议格式：[维度1:含义1 | 维度2:含义2 (...)] 示例：[B:32 | C:3 | H:224 | W:224] 二、针对不同操作的标注策略 维度增减 阅读全文
posted @ 2025-03-26 01:15
xiezhengcai
阅读(37)
评论(0)
推荐(0)
摘要：
在PyTorch的nn.Linear中，权重矩阵的形状为(out_features, in_features)。这是因为线性变换的实现方式为： 具体来说： 当创建nn.Linear(10, 60)时，in_features=10，out_features=60，因此权重的形状是(60, 10)。 输 阅读全文
posted @ 2025-03-26 00:24
xiezhengcai
阅读(102)
评论(0)
推荐(0)
摘要：
好的！在 PyTorch 中，调整张量形状和维度的常用操作包括 torch.view、unsqueeze、reshape、transpose 和 permute。以下是它们的详细对比总结： 1. torch.view 功能：调整张量形状，不改变数据顺序，要求张量是连续的（contiguous）。 特 阅读全文
posted @ 2025-03-26 00:07
xiezhengcai
阅读(318)
评论(0)
推荐(0)
摘要：
注意点： torch.nn.CrossEntropyLoss中的ignore index 是作用在target上 torch.nn.CrossEntropyLoss 最终交叉熵的值是平均值 统计平均值的时候，不会统计ignore index的 公式中的值是以自然数e为底 对于 C 类分类任务，交叉熵 阅读全文
posted @ 2025-03-24 21:14
xiezhengcai
阅读(119)
评论(0)
推荐(0)
摘要：
  
评论(0)
推荐(0)
摘要：
PyTorch 默认行为：nn.Linear 的权重默认使用 Kaiming 均匀分布（mode='fan_in', nonlinearity='relu'），偏置初始化为 0。 阅读全文
posted @ 2025-03-24 20:55
xiezhengcai
阅读(102)
评论(0)
推荐(0)
摘要：
将数据压平 通过 nn.Linear(cfg.in_feature, cfg.expert_num) 得到专家权重 通过 torch.topk 得到 每个top上的权重，以及 以专家索引为value的 专家 (batch_size*seq_len,top_k) ， 它表示每个token在不同top_ 阅读全文
posted @ 2025-03-24 17:16
xiezhengcai
阅读(24)
评论(0)
推荐(0)
浙公网安备 33010602011771号