無名

摘要： 线性变换即等于与权重矩阵的相乘 阅读全文

摘要： torch.where 会根据条件去选择元素，返回一个tensor。¶ torch.where(condition, input, other, *, out=None) → Tensor condition 是一个BoolTensor input 和 other 可以常量，也可以是张量, 返回的张 阅读全文

摘要： nn.Embedding 本质上是可学习的查找表 一个简单的 Python 字典（查找表） 阅读全文

摘要： Tensor的创建¶ 从list和元组及numpy中创建¶ torch.tensor 可以从元组，list，以及 numpy 数组中创建张量 In [3]: importtorch importnumpyasnp fromIPython.core.interactiveshellimport Int 阅读全文

摘要： 掩码矩阵为 True, False 格式 阅读全文

摘要： 在预测阶段， 我们希望输入 "天雷滚滚我好怕怕" 和 "[cls]" 能预测出下一个token: 劈 于是我们在训练阶段，我们的输入是 "天雷滚滚我好怕怕" 和 “[cls]劈得我浑身掉渣渣”， 由于我们希望"[cls]" 能预测出 “劈” 字。 我们在损失函数计算的入参设置为： "劈得我浑身掉渣渣 阅读全文

摘要： 解码器在做多头注意力的掩码时候， 得到的相似度矩阵 相似度矩阵A A = Q@KT : [batch_size,n_head，seq_len，seq_len] 第一个为Q的seq_len,第二个为K的seq_len 对A做因果掩码 生成下三角掩码矩阵： M: [seq_len，seq_len] 将该 阅读全文

摘要： 通用部分 批次数量： batch_size 句子长度：seq_len 模型维度：d_model 多头头数：n_head 词典总数：vocab_num 输入时： input_ids : [batch_size,seq_len] input_mask: [batch_size,seq_len] targ 阅读全文

摘要： # 假设 logits 形状 [1,3,5]， logits = torch.randn(1, 3, 5) targets = torch.tensor([[1, 2, 1, 1, 2]]) # 形状为 [1,5] loss_fn = nn.CrossEntropyLoss() loss = los 阅读全文

摘要： 整数列表选择 x = torch.tensor([[[10, 20, 30], [40, 50, 60]]]) x1 = x[[0, 0]] x2 = x[[0, 0], [0, 1]] x3 = x[0, [0, 1], [0, 1]] print(x1) print(x2) print(x3) 阅读全文