Rogn

摘要： GPU lost 需要重启 虽然只是治标不治本的方法 重启: # 先看下有什么重要的任务正在跑 htop # 再立即重启 sudo reboot now 重启之后需要挂载磁盘: 2080机器上有两块 mount /dev/sdb1 /mnt/sdb1/ mount /dev/sda1 /mnt/sd 阅读全文

摘要： 因为argmax函数不能求导，也就不会有梯度 backward的反向传播的梯度到loss是终止了 其实也很容易看出这个问题，如果最后一步使用了argmax，loss的属性 requires_grad=False，直接调用backward会提示你需要给loss增加梯度属性，但这“治表不治本 ” 网上有 阅读全文

摘要： 我们现在需要对一句话做分词，然后转换成index，作为Bert的输入 tokenizer = BertTokenizer.from_pretrained(config.PRE_TRAINED_MODEL_NAME) text = '天空下着暴雨，o2正在给c1穿雨衣，他自己却只穿着单薄的军装，完全暴 阅读全文

摘要： GAT图注意力网络 GAT 采用了 Attention 机制，可以为不同节点分配不同权重，训练时依赖于成对的相邻节点，而不依赖具体的网络结构，可以用于 inductive 任务。 假设 Graph 包含 $N$ 个节点，每个节点的特征向量为 $h_i$，维度是 $F$，如下所示： \begin{ga 阅读全文

摘要： 翻译自：https://pytorch.org/tutorials/beginner/fgsm_tutorial.html 尽管深度学习的模型越来越快速、越准确，但深入了解对抗学习之后，你会惊讶的发现，向图像添加微小的难以察觉的扰动可能使模型性能发生显著改变。 这个教程将通过图像分类器来讨论这个问题 阅读全文

摘要： 最近在打一个比赛，发现往年的优秀样例都添加了对抗训练和多模型融合，遂学习一下对抗训练，并在实际比赛中检验效果 对抗样本的基本概念 要认识对抗训练，首先要了解 "对抗样本"，它首先出现在论文 Intriguing properties of neural networks 之中。简单来说，它是指对于人 阅读全文

摘要： 前言 没有我想象中的难，毕竟站在前人的肩膀上，但还是遇到许多小困难，甚至一度想放弃 用时：两整天（白天） 目的：训练一个transformer模型，输入[1,2,3,4]，能预测出[5,6,7,8] 最终效果：transformer model各层及维度符合预期，能train，predict还有一点 阅读全文

摘要： indexes转one-hot https://stackoverflow.com/questions/65424771/how-to-convert-one-hot-vector-to-label-index-and-back-in-pytorch https://pytorch.org/docs 阅读全文

摘要： ref: https://towardsdatascience.com/how-to-use-datasets-and-dataloader-in-pytorch-for-custom-text-data-270eed7f7c00 https://pytorch.org/tutorials/begi 阅读全文

摘要： 原文 https://rockt.github.io/2018/04/30/einsum 就是说有一种运算，叫做einsum，可以做各种矩阵和向量的运算，而且特别简洁和优美 自己跑一下里面的例子，就知道是怎么回事了， 这里记录一下其中的tensor contraction，算是最general的形式 阅读全文