無名

摘要： 假如有两个节点， 每个节点两个GPU 查看系统与机器架构： uname -m lsb_release -a 在每台机器上操作 安装nccl wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ 阅读全文

摘要： struct cudaMemsetParams { void *dst; // 目标内存地址（设备端指针） size_t pitch; // 每行的跨度（字节），仅在 height > 1 时有用 unsigned int value; // 要设置的值（只使用低字节，不支持浮点） unsigned 阅读全文

摘要： 明白几个概念 cudaPitchedPtr(void *ptr, size_t pitch, size_t xsize, size_t ysize) cudaPitchedPtr 用于描述一块有行跨度的内存空间。 pitch pitch 在内存管理中，它指物理内存中实际分配的行跨度，表示从一行数据跳 阅读全文

摘要： 线程块： 三维向量， 线程索引： index = x + yDx + zDx * Dy 假如 Dx = 10, Dy = 20 , Dz = 30,对于线程(2, 5, 9) 的index = 2 + 5 * 10 + 9 * 10 * 20 = 1852, 总线程数 Dx * Dy * Dz = 阅读全文

摘要： 通讯模式：多个线程合作解决一个问题，常见的合作模式称为Communication Patterns 映射：map 聚合：gather 分散：scatter 模板：stencil 转换：transpose 压缩：reduce 重排：scan/sort cuda编程的特点： 对线程块在何处、何时运行不做 阅读全文

摘要： 配置参数说明 微调相关 --enable-lora：启用 LoRA 适配器。 --enable-lora-bias：启用 LoRA 偏置。 --max-loras：单批次最大 LoRA 数量。 --max-lora-rank：最大 LoRA 等级。 --lora-extra-vocab-size：L 阅读全文

摘要： 在流程图中清晰标注张量形状和维度语义的关键是建立结构化标注规则，既要体现数值变换又要保留语义信息。以下是具体建议： 一、基础形状标注模板 建议格式：[维度1:含义1 | 维度2:含义2 (...)] 示例：[B:32 | C:3 | H:224 | W:224] 二、针对不同操作的标注策略 维度增减 阅读全文

摘要： 在PyTorch的nn.Linear中，权重矩阵的形状为(out_features, in_features)。这是因为线性变换的实现方式为： 具体来说： 当创建nn.Linear(10, 60)时，in_features=10，out_features=60，因此权重的形状是(60, 10)。 输 阅读全文

摘要： 好的！在 PyTorch 中，调整张量形状和维度的常用操作包括 torch.view、unsqueeze、reshape、transpose 和 permute。以下是它们的详细对比总结： 1. torch.view 功能：调整张量形状，不改变数据顺序，要求张量是连续的（contiguous）。 特 阅读全文

摘要： 注意点： torch.nn.CrossEntropyLoss中的ignore index 是作用在target上 torch.nn.CrossEntropyLoss 最终交叉熵的值是平均值 统计平均值的时候，不会统计ignore index的 公式中的值是以自然数e为底 对于 C 类分类任务，交叉熵 阅读全文