摘要：
Masked Autoencoders Are Scalable Vision Learners 作者：elfin 资料来源：MAE MAE模型第一次在arxiv上发表是2021年11月11日，截止2022年6月15日，大佬发布的最后一版是V3发布日期是2021年12月19日。 论文：https:/ 阅读全文
摘要：
Swin Transformer V2: Scaling Up Capacity and Resolution 作者：elfin 资料来源：Swin V2 论文地址： https://arxiv.org/abs/2111.09883 如V2名字所言，这里增大了模型的冗余和输入的分辨率！ V1论文解析 阅读全文
摘要：
损失出现NaN可能有三种情况： 计算过程中出现除数为0的情况，这种情况可以进行平滑处理，如果是计算书写错误就相应更改即可； 计算过程中带入空数据，如一个空张量，后续计算会出现NaN，而且这时梯度可能会正常更新，直到多次累积后出现爆炸的情况； 数值精度溢出，如fp16精度不够表示的数值，溢出后就表示为 阅读全文
摘要：
1 torch.cuda.amp混合精度训练 混合精度训练提供了自适应的float32(单精度)与float16(半精度)数据适配，我们必须同时使用 torch.autocast and torch.cuda.amp.GradScaler 才能起到作用。然而，torch.autocast和Gra 阅读全文
摘要：
关于卷积不同的人有不同的理解，大家都致力于用白话去说明，试图找到物理学意义！那么它一定有物理学意义吗？关于卷积这个概率我更加倾向于它是一个纯数学概念，其物理学意义或者其本质许多大佬都有很优秀的解释！下面我们将从几个方面看看什么是卷积！ 数学 在统计学这种，我们接触卷积操作最经典的案例是有两个独立随机 阅读全文
摘要：
torch.nn 标准化归一化层 作者：elfin 参考资料来源：torch.nn.BatchNorm BN是所有样本关于某个信道的标准化 LN是关于某个样本的所有特征标准化 IN是关于某个样本在某个信道上标准化 GN是某个样本关于信道分组的标准化 Top Bottom 一、BatchNorm1d 阅读全文
摘要：
torch.nn 剩余容器 作者：elfin 参考资料来源：torch.nn Top Bottom 一、Sequential 一个序列容器。模块将按照它们在构造函数中传递的顺序添加到其中。或者传入OrderedDict模块(value是子模块)。该容器的forward()方法接受任何输入并将其转 阅读全文
摘要：
torch.nn 参数Parameter与Module容器 作者：elfin 参考资料来源：torch.nn torch.nn是构建计算图的基础模块，model.train()、model.val()分别为模型的训练、评估模式。 一、Parameter nn.parameter.Parameter( 阅读全文
摘要：
docker容器时区修改 复制宿主机下面的zoneinfo文件到容器内 $ docker cp /usr/share/zoneinfo 2309505f0c4c:/usr/share/ 进去容器 $ docker exec -it van_seg bash 在容器内设置时区，不用重启容器即可更改时间 阅读全文
摘要：
这又可能是torch=1.9.0停止使用_specify_ddp_gpu_num有关，可以使用下面的方法进行处理。 conda$ find ./ -name mmcv mmcv$ sudo vim ./cnn/bricks/norm.py mmcv$ sudo vim ./utils/parrots 阅读全文