上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 102 下一页
摘要: 看到pytorch居然自带了瓶颈检查的工具:torch.utils.bottleneck 用法: python -m torch.utils.bottleneck 待测脚本路径 例如你原来执行的是 python train.py,现在改成 python -m torch.utils.bottlene 阅读全文
posted @ 2021-11-21 23:50 Rogn 阅读(103) 评论(0) 推荐(0) 编辑
摘要: 测试 这是一条测试 我想我会一直孤单,直到老去 而手动挡收到收到 我们的最终目的是 实现共产主义 为了明天 今天躺下 哈哈哈 哈哈哈 哈哈哈 哈哈 哈哈 哈哈哈 博客园主题 点击就送 点击查看代码 def hello_world(): print(hello world) nnnn 妈的 torch.nn 阅读全文
posted @ 2021-11-18 23:18 Rogn 阅读(59) 评论(0) 推荐(0) 编辑
摘要: Pytorch分步训练(只训练部分参数) pytorch model的分步训练 阅读全文
posted @ 2021-11-15 20:56 Rogn 阅读(834) 评论(0) 推荐(0) 编辑
摘要: Pytorch GAN训练时多次backward时出错问题 转载自https://www.daimajiaoliu.com/daima/479755892900406 和 https://oldpan.me/archives/pytorch-retain_graph-work 从一个错误说起:RuntimeError: Trying to backward 阅读全文
posted @ 2021-11-15 14:22 Rogn 阅读(361) 评论(0) 推荐(0) 编辑
摘要: GPU lost 需要重启 虽然只是治标不治本的方法 重启: # 先看下有什么重要的任务正在跑 htop # 再立即重启 sudo reboot now 重启之后需要挂载磁盘: 2080机器上有两块 mount /dev/sdb1 /mnt/sdb1/ mount /dev/sda1 /mnt/sd 阅读全文
posted @ 2021-11-14 19:57 Rogn 阅读(63) 评论(0) 推荐(0) 编辑
摘要: 因为argmax函数不能求导,也就不会有梯度 backward的反向传播的梯度到loss是终止了 其实也很容易看出这个问题,如果最后一步使用了argmax,loss的属性 requires_grad=False,直接调用backward会提示你需要给loss增加梯度属性,但这“治表不治本 ” 网上有 阅读全文
posted @ 2021-11-14 19:34 Rogn 阅读(717) 评论(0) 推荐(1) 编辑
摘要: 我们现在需要对一句话做分词,然后转换成index,作为Bert的输入 tokenizer = BertTokenizer.from_pretrained(config.PRE_TRAINED_MODEL_NAME) text = '天空下着暴雨,o2正在给c1穿雨衣,他自己却只穿着单薄的军装,完全暴 阅读全文
posted @ 2021-11-13 00:33 Rogn 阅读(1114) 评论(0) 推荐(0) 编辑
摘要: GAT图注意力网络 GAT 采用了 Attention 机制,可以为不同节点分配不同权重,训练时依赖于成对的相邻节点,而不依赖具体的网络结构,可以用于 inductive 任务。 假设 Graph 包含 $N$ 个节点,每个节点的特征向量为 $h_i$,维度是 $F$,如下所示: \begin{ga 阅读全文
posted @ 2021-11-12 20:59 Rogn 阅读(104) 评论(0) 推荐(0) 编辑
摘要: 翻译自:https://pytorch.org/tutorials/beginner/fgsm_tutorial.html 尽管深度学习的模型越来越快速、越准确,但深入了解对抗学习之后,你会惊讶的发现,向图像添加微小的难以察觉的扰动可能使模型性能发生显著改变。 这个教程将通过图像分类器来讨论这个问题 阅读全文
posted @ 2021-11-10 16:09 Rogn 阅读(464) 评论(0) 推荐(0) 编辑
摘要: 最近在打一个比赛,发现往年的优秀样例都添加了对抗训练和多模型融合,遂学习一下对抗训练,并在实际比赛中检验效果 对抗样本的基本概念 要认识对抗训练,首先要了解 "对抗样本",它首先出现在论文 Intriguing properties of neural networks 之中。简单来说,它是指对于人 阅读全文
posted @ 2021-11-09 19:11 Rogn 阅读(615) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 102 下一页