摘要：
看到pytorch居然自带了瓶颈检查的工具：torch.utils.bottleneck 用法： python -m torch.utils.bottleneck 待测脚本路径 例如你原来执行的是 python train.py，现在改成 python -m torch.utils.bottlene 阅读全文
摘要： 
这是一条测试 我想我会一直孤单，直到老去 而手动挡收到收到 我们的最终目的是 实现共产主义 为了明天 今天躺下 哈哈哈 哈哈哈 哈哈哈 哈哈 哈哈 哈哈哈 博客园主题 点击就送 点击查看代码 def hello_world(): print(hello world) nnnn 妈的 torch.nn 阅读全文
这是一条测试 我想我会一直孤单，直到老去 而手动挡收到收到 我们的最终目的是 实现共产主义 为了明天 今天躺下 哈哈哈 哈哈哈 哈哈哈 哈哈 哈哈 哈哈哈 博客园主题 点击就送 点击查看代码 def hello_world(): print(hello world) nnnn 妈的 torch.nn 阅读全文
摘要： 
pytorch model的分步训练 阅读全文
pytorch model的分步训练 阅读全文
摘要： 
转载自https://www.daimajiaoliu.com/daima/479755892900406 和 https://oldpan.me/archives/pytorch-retain_graph-work 从一个错误说起：RuntimeError: Trying to backward 阅读全文
转载自https://www.daimajiaoliu.com/daima/479755892900406 和 https://oldpan.me/archives/pytorch-retain_graph-work 从一个错误说起：RuntimeError: Trying to backward 阅读全文
摘要：
GPU lost 需要重启 虽然只是治标不治本的方法 重启: # 先看下有什么重要的任务正在跑 htop # 再立即重启 sudo reboot now 重启之后需要挂载磁盘: 2080机器上有两块 mount /dev/sdb1 /mnt/sdb1/ mount /dev/sda1 /mnt/sd 阅读全文
摘要：
因为argmax函数不能求导，也就不会有梯度 backward的反向传播的梯度到loss是终止了 其实也很容易看出这个问题，如果最后一步使用了argmax，loss的属性 requires_grad=False，直接调用backward会提示你需要给loss增加梯度属性，但这“治表不治本 ” 网上有 阅读全文
摘要：
我们现在需要对一句话做分词，然后转换成index，作为Bert的输入 tokenizer = BertTokenizer.from_pretrained(config.PRE_TRAINED_MODEL_NAME) text = '天空下着暴雨，o2正在给c1穿雨衣，他自己却只穿着单薄的军装，完全暴 阅读全文
摘要：
GAT图注意力网络 GAT 采用了 Attention 机制，可以为不同节点分配不同权重，训练时依赖于成对的相邻节点，而不依赖具体的网络结构，可以用于 inductive 任务。 假设 Graph 包含 $N$ 个节点，每个节点的特征向量为 $h_i$，维度是 $F$，如下所示： \begin{ga 阅读全文
摘要：
翻译自：https://pytorch.org/tutorials/beginner/fgsm_tutorial.html 尽管深度学习的模型越来越快速、越准确，但深入了解对抗学习之后，你会惊讶的发现，向图像添加微小的难以察觉的扰动可能使模型性能发生显著改变。 这个教程将通过图像分类器来讨论这个问题 阅读全文
摘要：
最近在打一个比赛，发现往年的优秀样例都添加了对抗训练和多模型融合，遂学习一下对抗训练，并在实际比赛中检验效果 对抗样本的基本概念 要认识对抗训练，首先要了解 "对抗样本"，它首先出现在论文 Intriguing properties of neural networks 之中。简单来说，它是指对于人 阅读全文