摘要：
early-stopping的使用 待办https://blog.csdn.net/qq_37430422/article/details/103638681github对应类导入，直接放在项目更目录下直接导入就行了。https://github.com/Bjarten/early-stopping-pytorch这是对应的github地址代码在内怎么载入最好的模型参数https://gith... 阅读全文
posted @ 2020-02-26 22:34
程序员成长
阅读(2329)
评论(0)
推荐(0)
摘要：
人脸识别列表 待办https://blog.csdn.net/weixin_41449637/article/details/103344479 阅读全文
posted @ 2020-02-26 19:02
程序员成长
阅读(111)
评论(0)
推荐(0)
摘要：
SGD 讲解，梯度下降的做法，随机性。理解反向传播 待办 Stochastic Gradient Descent 随机梯度下降没有用Random这个词，因为它不是完全的随机，而是服从一定的分布的，只是具有随机性在里面。其中的Stochastic的意思是从x到y的映射： x→yx\to y x→y给定一个xxx并不能确定地知道输出yyy，而是服从一定的概率分布。与之对应的是Determini... 阅读全文
posted @ 2020-02-26 18:59
程序员成长
阅读(721)
评论(0)
推荐(0)
摘要：
detach() 使用和.detach()和.data的区别 、cpu()函数的作用 待办detach使用https://blog.csdn.net/qq_27825451/article/details/96837905?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.... 阅读全文
posted @ 2020-02-26 18:22
程序员成长
阅读(3204)
评论(0)
推荐(0)
摘要：
连续张量理解和contiguous()方法使用,view和reshape的区别 待办内存共享：下边的x内存布局是从0开始的，y内存布局，不是从0开始的张量 For example: when you call transpose(), PyTorch doesn't generate new tensor with new layout, it just modifies meta in... 阅读全文
posted @ 2020-02-26 18:04
程序员成长
阅读(1351)
评论(0)
推荐(0)
摘要：
visdom使用监视训练过程的应用，viz.line参数说明 待办viz = Visdom()viz.line([0.], [0.], win='train_loss', opts=dict(title='train loss'))viz.line([[0.0, 0.0]], [0.], win='test', opts=dict(title='test loss&acc.', ... 阅读全文
posted @ 2020-02-26 17:40
程序员成长
阅读(2608)
评论(0)
推荐(0)
摘要：
pytorch之max()函数 待办返回对应给定中最大值的索引,方便进行和target结果的索引进行比较索引方式见下https://blog.csdn.net/liuweiyuxiang/article/details/84668269 阅读全文
posted @ 2020-02-26 16:26
程序员成长
阅读(869)
评论(0)
推荐(0)
摘要：
测试准确率计算方法说明 pre.eq(target).float().sum().item() 待办pred = logits.argmax(dim=1) correct += pred.eq(target).float().sum().item() 这句意思就是输出最大值的索引位置，这个索引位置和真实值的索引位置比较相等的做统计就是这个批次准确的个数用来做统计分析 阅读全文
posted @ 2020-02-26 15:34
程序员成长
阅读(4264)
评论(0)
推荐(2)
摘要：
batch_idx作用 待办batch_idx * len(data) 这里的batch_idx 就是数组分组之后的组号，len(data)就是每组的数据量，这个式子表示的就是总共已经训练的数据总数做显示，根据这个已经训练好的得到百分占比，损失函数计算https://www.cnblogs.com/lishikai/p/12366561.html 平均准确度和平均损失的计算 阅读全文
posted @ 2020-02-26 14:49
程序员成长
阅读(1063)
评论(0)
推荐(0)
摘要：
batch_idx作用 待办batch_idx * len(data) 这里的batch_idx 就是数组分组之后的组号，len(data)就是每组的数据量，这个式子表示的就是总共已经训练的数据总数 阅读全文
posted @ 2020-02-26 14:29
程序员成长
阅读(371)
评论(0)
推荐(0)
摘要：
为什么需要每次计算梯度都要清空 待办根据pytorch中的backward()函数的计算，当网络参量进行反馈时，梯度是被积累的而不是被替换掉；但是在每一个batch时毫无疑问并不需要将两个batch的梯度混合起来累积，因此这里就需要每个batch设置一遍zero_grad 了。其实这里还可以补充的一点是，如果不是每一个batch就清除掉原有的梯度，而是比如说两个batch再清除掉梯度，这是一种... 阅读全文
posted @ 2020-02-26 14:08
程序员成长
阅读(1735)
评论(0)
推荐(0)
摘要：
在GPU上训练数据模型搬到GPU上数据搬到GPU上损失函数计算搬到GPU上 阅读全文
posted @ 2020-02-26 14:04
程序员成长
阅读(505)
评论(0)
推荐(0)
摘要：
optim.SDG 或者其他、实现随机梯度下降法 待办实现随机梯度下降算法的参数优化方式另外还有class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0)[source]实现平均随机梯度下降算法。 阅读全文
posted @ 2020-02-26 13:55
程序员成长
阅读(445)
评论(0)
推荐(0)
摘要：
ReLU(inplace=True),这里的inplace=true的意思 待办inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but ... 阅读全文
posted @ 2020-02-26 13:44
程序员成长
阅读(1543)
评论(0)
推荐(0)
摘要：
batchsize用法 平均准确度和平均损失，以及实现前向运算的矩阵乘法方式，loss怎么反向传播的 待办使用batchsize可以把矩阵缩小，采用矩阵乘法的形式可以一次计算多个经过神经网络的结果，然后通过交叉熵进行计算总的损失得到结果。所以前向的理解主要是矩阵乘法，对应左行右列的相乘得到x1w1+x2w2+x3w3+....的一个结果，左侧对应的行数就是总的batchsize数，这也是分批次... 阅读全文
posted @ 2020-02-26 13:32
程序员成长
阅读(1619)
评论(0)
推荐(0)
摘要：
batchsize用法 以及实现前向运算的矩阵乘法方式 待办使用batchsize可以把矩阵缩小，采用矩阵乘法的形式可以一次计算多个经过神经网络的结果，然后通过交叉熵进行计算总的损失得到结果。所以前向的理解主要是矩阵乘法，对应左行右列 的相乘得到x1w1+x2w2+x3w3+....的一个结果，左侧对应的行数就是总的batchsize数，这也是分批次计算的要点 阅读全文
posted @ 2020-02-26 12:11
程序员成长
阅读(428)
评论(0)
推荐(0)
浙公网安备 33010602011771号