tangjunjun

摘要： 本文简单介绍知识蒸馏教师模型与学生模型使用loss方法： 一 .loss求解方法 hard label：训练的学生模型结果与真实标签进行交叉熵loss，类似正常网络训练。 soft label：训练的学生网络与已经训练好的教师网络进行KL相对熵求解，可添加系数，如温度，使其更soft。 知乎回答：l 阅读全文

摘要： 本文主要解决模型权重迁移，主要使用pytorch读取某个权重，将其赋值给新权重格式，以下为原始代码： 顺带参数计算函数代码： 参数计算： def count_parameters(model): return sum(p.numel() for p in model.parameters() if 阅读全文

摘要： 本文简单介绍模型训练时候，使用准确率求解过程，不涉及精确率和召回率计算， 本文给出简要计算方法与代码。 计算方法： 使用top1计算为例(以下以2个batch，3个num_classes举列)： 网络预测结果形式：pred=[b,num_classes] ，如pred=[[0.6,0.8,0.9], 阅读全文

摘要： 本次将整理一份map计算方法，主要分为三部分，第一部分简单了解原理，第二部分理解如何调用coco等相关库得到map，第三部分教会读者如何结合模型(任何可计算map的网络模型)调用而生成map，而本博客希望读者能掌握使用模型预测map，其重点也为第三部分: 第一部分介绍map原理，主要引用部分他人结果 阅读全文

摘要： 最近一直在看有关transformer相关网络结构，为此我特意将经典结构 Attention is all you need 论文进行了解读，并根据其源码深入解读attntion经典结构， 为此本博客将介绍如下内容： 论文链接：https://arxiv.org/abs/1706.03762 一.T 阅读全文

摘要： 描述 将一个节点数为 size 链表 m 位置到 n 位置之间的区间反转，要求时间复杂度 O(n)O(n)，空间复杂度 O(1)O(1)。例如：给出的链表为 1\to 2 \to 3 \to 4 \to 5 \to NULL1→2→3→4→5→NULL, m=2,n=4m=2,n=4,返回 1\to 阅读全文

摘要： 当你想了解网络学习了什么的时候，一般都想着将特征图可视化，列如backbone中第一层输出特征图[batch,channel,hight,width]，该如何将其特征图呈现呢？ 如果你也在为此烦恼，本文将简单介绍可视化内容，并使用代码将其呈现，可视化，本文内容如下： 1.特征图可视化，这种方法是最简 阅读全文

摘要： 本文主要针对与我一样的小白想使用CUDA加速方法，而经过Visual Studio编译器对cuda代码反复试验与调整得到以下成果。 目前本文主要使用一维数组对CUDA的grid与block的组合尝试，已实现CUDA一维数组的计算，将其记录如下。 而我也将会在下篇继续使用多维数组使用CUDA计算。 本 阅读全文

摘要： 本文主要贡献代码模块(文末)，在本文中对resnet进行了改写，是一份原始版本模块，里面集成了权重文件pth的载入模块(如函数：init_weights(self, pretrained=None))，layers的冻结模块(如函数：_freeze_stages(self))，更是将其改写成可读性高的代码，若你需要执行该模块，可直接将其代码模块粘贴成.py文件即可。 阅读全文

摘要： 目前因项目需要，将检测模型与图像分类结合，完成项目。因此将CBAM模型代码进行整理，仅仅需要train.py与test.py，可分别对图像训练与分类，为了更好学习代码，本文内容分2块，其一将引用 他人博客，简单介绍原理；其二根据改写代码，介绍如何使用，训练自己模型及测试图片。论文：CBAM: Con 阅读全文