摘要：
https://cloud.tencent.com/developer/article/2076348 就是添加钥匙 $ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys '7EA0A9C3F273FCD8' Executin 阅读全文
posted @ 2022-11-13 18:40
祥瑞哈哈哈
阅读(59)
评论(0)
推荐(0)
摘要：
准确率是0.98 假设:正包中可能不止一个正示例，训练网络时网络能充分考虑这些示例就会进一步提升准确率。 本文就是通过动态池化去提升准确率。 训练的体会:如果神经网络层多的话学习率小模型的loss变化的较慢。 用迭代的方式生成b其实就是让最重要的向量发挥尽量大的作用，越迭代重要的向量的b越大。 s表 阅读全文
posted @ 2022-11-10 16:13
祥瑞哈哈哈
阅读(46)
评论(0)
推荐(0)
摘要：
tr=torch.Tensor([[100000,200000],[1,2]]) tr1=torch.Tensor([1,2]) tr2=torch.Tensor([1,2]) print(tr1+tr2) print(tr/2) print(torch.sum(tr*np.reshape(tr1, 阅读全文
posted @ 2022-11-10 12:34
祥瑞哈哈哈
阅读(39)
评论(0)
推荐(0)
摘要：
loss变小梯度反而没有变小。 背景sigmoid(wx+b)的二分类实验，损失函数为平方损失。 实验一:直接训练发现loss减少导致梯度减少。看代码1: 实验二:在wx+b后加上BN层梯loss减少梯度减少。看代码2: 代码1: from enum import auto from scipy.i 阅读全文
posted @ 2022-11-07 11:58
祥瑞哈哈哈
阅读(83)
评论(0)
推荐(0)
摘要：
背景二分类问题，最后一层的输出函数为sigmoid函数。随着训练是否会出现梯度衰减的情况。 训练时模型为了降低损失函数，会尽可能提高正类的置信度降低负类的置信度。 结果: 并未发现正常训练导致的梯度衰减。 代码: from enum import auto from scipy.io import 阅读全文
posted @ 2022-11-07 11:09
祥瑞哈哈哈
阅读(60)
评论(0)
推荐(0)
摘要：
不管用。因为学习率乘以梯度是步长，而梯度衰减返回的梯度是0所以调大学习率不管用。 from enum import auto from scipy.io import loadmat import numpy as np import torch import torch.utils.data as 阅读全文
posted @ 2022-11-07 10:33
祥瑞哈哈哈
阅读(23)
评论(0)
推荐(0)
摘要：
答案;不是。 import numpy as np w=np.array([100,10000,1000000]) print((w-w.mean())/np.std(w)) 输出结果: [-0.71763397 -0.69652709 1.41416106] 阅读全文
posted @ 2022-11-07 10:11
祥瑞哈哈哈
阅读(73)
评论(0)
推荐(0)
摘要：
文章基于的假设固定输入层输入的分布可以加快训练，防止出现梯度衰减。 收获: 1.如果有疑问可以做简单的实验。 2.BN层只是从一定程度上解决了梯度衰减的问题但是并没有完全解决如果输入值的差距过大会导致模型加BN层后loss依旧无变化。看代码1: 3.BN层在train和eval模型对相同的数据输出值 阅读全文
posted @ 2022-11-06 16:53
祥瑞哈哈哈
阅读(34)
评论(0)
推荐(0)
摘要：
论文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift In practice, the saturation problem and the resulting 阅读全文
posted @ 2022-11-05 12:21
祥瑞哈哈哈
阅读(31)
评论(0)
推荐(0)
摘要：
准确率:0.8478260869565217。 原理: 从深度学习模型中选出一个输出值进行优化。即正包中选出最大值的去让网络拟合他。负包中选出最大值去近似0。 缺点: 模型自己选择最像正包的标签可能会导致模型错误识别正类。模型好像随着训练在验证集的准确率增加。并未过拟合。好像被没有受其影响。 没加B 阅读全文
posted @ 2022-11-04 13:48
祥瑞哈哈哈
阅读(47)
评论(0)
推荐(0)
浙公网安备 33010602011771号