巴蜀秀才

摘要： pytorch: cpp_extension 作者：elfin 资料来源：C++扩展接口 项目地址：https://github.com/firstelfin/torch_extension ​ 深度学习中，我们常使用pytorch的python接口实现一些非官方实现的逻辑，我们可能会拼接一些官方的 阅读全文

摘要： DyHead: 基于注意力机制的目标检测头 作者：elfin 资料来源：DyHead 论文：https://arxiv.org/pdf/2106.08322.pdf 代码：https://github.com/microsoft/DynamicHead 一、摘要 ​ 目标检测中定位和分类相结合的复杂 阅读全文

摘要： Masked Autoencoders Are Scalable Vision Learners 作者：elfin 资料来源：MAE MAE模型第一次在arxiv上发表是2021年11月11日，截止2022年6月15日，大佬发布的最后一版是V3发布日期是2021年12月19日。 论文：https:/ 阅读全文

摘要： Swin Transformer V2: Scaling Up Capacity and Resolution 作者：elfin 资料来源：Swin V2 论文地址： https://arxiv.org/abs/2111.09883 如V2名字所言，这里增大了模型的冗余和输入的分辨率！ V1论文解析 阅读全文

摘要： 损失出现NaN可能有三种情况： 计算过程中出现除数为0的情况，这种情况可以进行平滑处理，如果是计算书写错误就相应更改即可； 计算过程中带入空数据，如一个空张量，后续计算会出现NaN，而且这时梯度可能会正常更新，直到多次累积后出现爆炸的情况； 数值精度溢出，如fp16精度不够表示的数值，溢出后就表示为 阅读全文

摘要： 1 torch.cuda.amp混合精度训练 ​ 混合精度训练提供了自适应的float32(单精度)与float16(半精度)数据适配，我们必须同时使用 torch.autocast and torch.cuda.amp.GradScaler 才能起到作用。然而，torch.autocast和Gra 阅读全文

摘要： 关于卷积不同的人有不同的理解，大家都致力于用白话去说明，试图找到物理学意义！那么它一定有物理学意义吗？关于卷积这个概率我更加倾向于它是一个纯数学概念，其物理学意义或者其本质许多大佬都有很优秀的解释！下面我们将从几个方面看看什么是卷积！ 数学 在统计学这种，我们接触卷积操作最经典的案例是有两个独立随机 阅读全文

摘要： torch.nn 标准化归一化层 作者：elfin 参考资料来源：torch.nn.BatchNorm BN是所有样本关于某个信道的标准化 LN是关于某个样本的所有特征标准化 IN是关于某个样本在某个信道上标准化 GN是某个样本关于信道分组的标准化 Top Bottom 一、BatchNorm1d 阅读全文

摘要： torch.nn 剩余容器 作者：elfin 参考资料来源：torch.nn Top Bottom 一、Sequential ​ 一个序列容器。模块将按照它们在构造函数中传递的顺序添加到其中。或者传入OrderedDict模块(value是子模块)。该容器的forward()方法接受任何输入并将其转 阅读全文

摘要： torch.nn 参数Parameter与Module容器 作者：elfin 参考资料来源：torch.nn torch.nn是构建计算图的基础模块，model.train()、model.val()分别为模型的训练、评估模式。 一、Parameter nn.parameter.Parameter( 阅读全文