半夜打老虎

摘要： PDF：https://arxiv.org/pdf/2010.04159 Code：https://github.com/fundamentalvision/Deformable-DETR 一、大体内容 前面介绍DETR时，说明了其还存在对小物体检测效果不佳和训练慢的问题，Deformable DE 阅读全文

摘要： PDF: https://arxiv.org/pdf/2005.12872 Code: https://github.com/facebookresearch/detr 一、大体内容 DETR（DEtection TRansformer）基于Transformer提出了一个全新的端到端的目标检测框架 阅读全文

摘要： 一、大体内容 PDF：https://arxiv.org/pdf/2103.14030 CODE：https://github.com/microsoft/Swin-Transformer 前面提出的ViT将Transformer引入到了视觉领域，但其重点解决了分类问题，其采用单一尺度提取特征对后续 阅读全文

摘要： 一、大体内容 PDF: https://arxiv.org/abs/2111.06377 CODE: https://github.com/facebookresearch/mae (原文采用tensorflow 和 TPU 没有开源) 前面已经介绍了Transformer、BERT、ViT，这里理 阅读全文

摘要： PDF: https://arxiv.org/abs/2010.11929 CODE: https://github.com/google-research/vision_transformer 一、大体内容 前面介绍了Transformer及其在NLP领域的两大发展方向BERT和GPT，但当时Tr 阅读全文

摘要： 前面讲解了GPT、BERT相关内容，这一篇记录剩下GPT-2、GPT-3、GPT-4。 相关资料 GPT1: Improving Language Understanding by Generative Pre-Training GPT2: Language Models are Unsupervi 阅读全文

摘要： 前面介绍了Transformer，随着其发展在NLP领域应用越来越多，在其基础上主要有两篇影响非常大的文章，一篇是GPT，另一篇是BERT。OpenAI提出的GPT采用Transformer解码器结构，一路更新迭代到了现在有了GPT-4，而Google提出的BERT采用Transformer的编码器 阅读全文

摘要： Transformer于2017年提出，最开始应用于NLP领域，随着Transformer的快速发展，在视觉领域中也越来越多的论文或应用用到了Transformer，这里记录一下自己学习的一些知识点。 PDF： 《Attention Is All You Need》 Code: attention- 阅读全文

摘要： 一、空间直线方程 1.1 一般方程 空间直线可以看成成两个平面的交线，设两个平面方程分别为\(A_1x + B_1y + C_1z + D_1 = 0\) 和 \(A_2x + B_2y + C_2z + D_2 = 0\)，则直线\(l\)的一般方程可以表示为： \(\left\{\begin{m 阅读全文

摘要： 一、Layer Norm 1.1 介绍 LayerNorm（Layer Normalization）是2016年提出的，随着Transformer等模型的大规模推广，LayerNorm出现频率也随之越来越高。其大体思想类似于BatchNorm，对输入的每个样本进行归一化处理，具体就是计算每个输入的均 阅读全文