摘要: 前言 没有我想象中的难,毕竟站在前人的肩膀上,但还是遇到许多小困难,甚至一度想放弃 用时:两整天(白天) 目的:训练一个transformer模型,输入[1,2,3,4],能预测出[5,6,7,8] 最终效果:transformer model各层及维度符合预期,能train,predict还有一点 阅读全文
posted @ 2021-10-29 23:49 Rogn 阅读(2201) 评论(0) 推荐(0) 编辑
摘要: indexes转one-hot https://stackoverflow.com/questions/65424771/how-to-convert-one-hot-vector-to-label-index-and-back-in-pytorch https://pytorch.org/docs 阅读全文
posted @ 2021-10-29 14:15 Rogn 阅读(471) 评论(0) 推荐(0) 编辑
摘要: 这样 ?这都能报错 啊这,我len怎么是个整数,难怪了 前面写过这么一句代码: 因此,把这个变量换个变量名吧 阅读全文
posted @ 2021-10-29 13:41 Rogn 阅读(296) 评论(0) 推荐(0) 编辑
摘要: ref: https://towardsdatascience.com/how-to-use-datasets-and-dataloader-in-pytorch-for-custom-text-data-270eed7f7c00 https://pytorch.org/tutorials/begi 阅读全文
posted @ 2021-10-29 11:26 Rogn 阅读(364) 评论(0) 推荐(0) 编辑
摘要: 参考 https://blog.csdn.net/dong_liuqi/article/details/109823874 这种情况下,你还能发现batch_size为1时是不会报错的, batch_size为大于1会报错,报错的原因是同一batch中的entries的维数不一样 例如, batch 阅读全文
posted @ 2021-10-29 10:15 Rogn 阅读(2503) 评论(0) 推荐(0) 编辑
摘要: 可见https://www.cnblogs.com/everfight/p/NotImplementedError.html 补充一个我遇到的情况: MultiHeadAttention继承了nn.Module,因此需要实现forward方法 然后 你说你实现了forward啊 但是 你fowrar 阅读全文
posted @ 2021-10-29 10:01 Rogn 阅读(114) 评论(0) 推荐(0) 编辑