嶙羽

摘要： 之前用的adam优化器一直是这样的： alpha_optim = torch.optim.Adam(model.alphas(), config.alpha_lr, betas=(0.5, 0.999), weight_decay=config.alpha_weight_decay) 没有细想内部参 阅读全文

摘要： 在代码书写没有bug的情况下，Pytorch竟然报了这个错： RuntimeError: cuDNN error: CUDNN_STATUS_NOT_SUPPORTED. This error may appear if you passed in a non-contiguous input. 起 阅读全文

摘要： 保存模型： def save(model, model_path): torch.save(model.state_dict(), model_path) 加载模型： def load(model, model_path): model.load_state_dict(torch.load(mode 阅读全文

摘要： 之前一直不清楚怎么查看模型的参数和结构，现在学习了一下。 首先搞个resnet20出来 import torch import torch.nn as nn import torch.nn.functional as F from torch.nn import init from models.r 阅读全文

摘要： Pytorch中根据索引取张量有很多方法，比如index_select和masked_select，和gt,ge等配合食用，但如果需要取出最小几个或最大几个张量的索引，则需要动手写一下 a = torch.tensor([2,3,1,5]) y,_ = torch.sort(a) mask = a. 阅读全文

摘要： 1、主要作用：变换tensor维度 example： import torch x = torch.randn(2, 3, 5) print(x.size()) print(x.permute(2, 0, 1).size()) >>>torch.Size([2, 3, 5]) >>>torch.Si 阅读全文

摘要： 很简单的一个问题，当softmax的变量过大或过小怎么办，比如 softmax([100,101,102])的结果是什么？ 有一个方法计算上溢的情况，也就是每个变量都减去最大值，然后做softmax， 所以softmax([100,101,102])和softmax([-2,-1,0])是一样的结果 阅读全文

摘要： 也是李宏毅老师的课程。。 His Point of View 有点认同这个观点，比起完全了解神经网络是怎样work的，还不如研究怎样让神经网络更像人类 一样work，也就是更接近人类的各种行为 Interpretable v.s. Powerful 阅读全文

摘要： 记录一下李宏毅机器学习课程关于对抗攻击的内容； 1、 一般模型training过程： 输入x_0，调整模型Network的参数θ，使得输出y_0和y_true的loss越小越好；损失函数：L_train(θ) = C(y_0, y_true) Non-targeted Attack： 固定模型Net 阅读全文

摘要： 目前使用的是Typora这款Markdown软件，记录一下快捷键用法： 1、无序列表，黑色实心圆点或白色空心圆点 首先去除缩进，使用“Ctrl”+"["键或者“Shift”+"Tab"到句首，然后"-"+空格变成缩进的黑色实心圆点， 二级无序列表，也就是在比黑色实心圆点再缩进的无序列表，在缩进或者黑 阅读全文