程序员成长 - 博客园

2020年2月26日

摘要：在GPU上训练数据模型搬到GPU上数据搬到GPU上损失函数计算搬到GPU上阅读全文

posted @ 2020-02-26 14:04 程序员成长阅读(503) 评论(0) 推荐(0)

摘要： optim.SDG 或者其他、实现随机梯度下降法待办实现随机梯度下降算法的参数优化方式另外还有class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0)[source]实现平均随机梯度下降算法。阅读全文

posted @ 2020-02-26 13:55 程序员成长阅读(443) 评论(0) 推荐(0)

ReLU(inplace=True),这里的inplace=true的意思

摘要： ReLU(inplace=True),这里的inplace=true的意思待办inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but ... 阅读全文

posted @ 2020-02-26 13:44 程序员成长阅读(1540) 评论(0) 推荐(0)

batchsize用法平均准确度和平均损失，以及实现前向运算的矩阵乘法方式，loss怎么反向传播的

摘要： batchsize用法平均准确度和平均损失，以及实现前向运算的矩阵乘法方式，loss怎么反向传播的待办使用batchsize可以把矩阵缩小，采用矩阵乘法的形式可以一次计算多个经过神经网络的结果，然后通过交叉熵进行计算总的损失得到结果。所以前向的理解主要是矩阵乘法，对应左行右列的相乘得到x1w1+x2w2+x3w3+....的一个结果，左侧对应的行数就是总的batchsize数，这也是分批次... 阅读全文

posted @ 2020-02-26 13:32 程序员成长阅读(1612) 评论(0) 推荐(0)

batchsize用法以及实现前向运算的矩阵乘法方式

摘要： batchsize用法以及实现前向运算的矩阵乘法方式待办使用batchsize可以把矩阵缩小，采用矩阵乘法的形式可以一次计算多个经过神经网络的结果，然后通过交叉熵进行计算总的损失得到结果。所以前向的理解主要是矩阵乘法，对应左行右列的相乘得到x1w1+x2w2+x3w3+....的一个结果，左侧对应的行数就是总的batchsize数，这也是分批次计算的要点阅读全文

posted @ 2020-02-26 12:11 程序员成长阅读(425) 评论(0) 推荐(0)

2020年2月25日

torchvision的理解和学习加载常用数据集，对主流模型的调用.md

摘要： torchvision的理解和学习加载常用数据集，对主流模型的调用https://blog.csdn.net/tsq292978891/article/details/79403617加载常用数据集，对主流模型的调用阅读全文

posted @ 2020-02-25 23:39 程序员成长阅读(359) 评论(0) 推荐(0)

logits的用法和此类标注的作用，已经再最后一层加了映射了就不需要再加入了

摘要： logits的用法和此类标注的作用，已经再最后一层加了映射了就不需要再加入了待办PyTorch（tensorflow类似）的损失函数中，有一个（类）损失函数名字中带了with_logits. 而这里的logits指的是,该损失函数已经内部自带了计算logit的操作，无需在传入给这个loss函数之前手动使用sigmoid/softmax将之前网络的输入映射到[0,1]之间.https://bl... 阅读全文

posted @ 2020-02-25 23:21 程序员成长阅读(291) 评论(0) 推荐(0)

为什么需要激活函数为什么需要归一化 pytorch BatchNorm2d python内置函数：enumerate用法总结

摘要：为什么需要激活函数为什么需要归一化 pytorch BatchNorm2d python内置函数：enumerate用法总结待办激活函数的用途（为什么需要激活函数）？如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（P... 阅读全文

posted @ 2020-02-25 23:14 程序员成长阅读(1162) 评论(0) 推荐(0)

totensor方法和normalize方法数值映射和归一化

摘要： totensor方法和normalize方法数值映射和归一化待办ToTensor是指把PIL.Image(RGB) 或者numpy.ndarray(H x W x C) 从0到255的值映射到0到1的范围内，并转化成Tensor格式。2.Normalize(mean，std)是通过下面公式实现数据归一化channel=（channel-mean）/stdhttps://www.jians... 阅读全文

posted @ 2020-02-25 22:48 程序员成长阅读(3895) 评论(0) 推荐(0)

mini-batch是什么以及dataloader的作用

摘要： mini-batch是什么以及dataloader的作用待办我们在训练神经网络时，使用的是mini-batch（一次输入多张图片），所以我们在使用一个叫DataLoader的工具为我们将50000张图分成每四张图一分，一共12500份的数据包。https://www.jianshu.com/p/8da9b24b2fb6 准备图片数据集阅读全文

posted @ 2020-02-25 22:13 程序员成长阅读(657) 评论(0) 推荐(0)

via~via~

公告