2025年3月10日
transformer 中的掩码类型
摘要： 掩码矩阵为 True, False 格式 阅读全文
posted @ 2025-03-10 19:29 xiezhengcai 阅读(15) 评论(0) 推荐(0)
Transfomer 中的强制教学(Teacher Forcing)
摘要： 在预测阶段， 我们希望输入 "天雷滚滚我好怕怕" 和 "[cls]" 能预测出下一个token: 劈 于是我们在训练阶段，我们的输入是 "天雷滚滚我好怕怕" 和 “[cls]劈得我浑身掉渣渣”， 由于我们希望"[cls]" 能预测出 “劈” 字。 我们在损失函数计算的入参设置为： "劈得我浑身掉渣渣 阅读全文
posted @ 2025-03-10 14:16 xiezhengcai 阅读(184) 评论(0) 推荐(0)