巴蜀秀才

摘要： Attention Is All You Need 作者：elfin 参考资料来源：transformer Top Bottom ​ transformer家族近期炙手可热，不仅霸占了NLP领域的江山，在CV领域也有踢馆CNN的趋势 。那么它有那么牛吗？牛啊牛？在弱人工智能时代，没有永远的神，tra 阅读全文

摘要： You Only Learn One Representation: 对于多任务的统一网络 作者：elfin 参考资料来源：YOLOR Top Bottom 论文地址：https://arxiv.org/abs/2105.04206 项目地址：https://github.com/WongKinYi 阅读全文

摘要： Autoformer:用于长期序列预测的自相关分解Transformer 作者：elfin 参考资料来源：Autoformer 摘要 ​ 时间的长依赖预测是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究时间序列的长期预测问题。先前的tranformer模型采用各种自我注意机制来发现长期 阅读全文

摘要： LV-VIT论文技术点分析 作者：elfin 参考资料来源：LV-VIT 本文转载于参考资源 论文：https://arxiv.org/pdf/2104.10858.pdf 项目：https://github.com/zihangJiang/TokenLabeling Top Bottom 1、总结 阅读全文

摘要： Unfold+fold 作者：elfin 参考资料来源：pytorch官网 Top Bottom 1、nn.Unfold nn.Unfold是pytorch实现的一个layer，那么这个layer是干嘛的呢？ torch.nn.Unfold(kernel_size: Union[T, Tuple[T 阅读全文

摘要： 超越CNN的transformer：VOLO 作者：elfin 参考资料来源：VOLO ​ Transformer技术在CV领域大有"取代"CNN结构的趋势，但是不管是VIT、还是Swin Transformer感觉都差一点火候。这些引入“注意力”的模型在学者的手中，总是告诉我们其很美好，但是在实际 阅读全文

摘要： CTC::Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks(论文解析) 作者：elfin 资料来源：CTC论文 论文地址：https:// 阅读全文

摘要： python 数据类：dataclass 作者： elfin 参考资源： python3.7的新特性dataclass Python 3.7 将引入 dataclass 装饰器 目录1、dataclass简介2、引入dataclass装饰器3、dataclass装饰器选项4、数据类的基石--data 阅读全文

摘要： External Attention：外部注意力机制 作者： elfin ​ 最近Transformer在CV领域的研究非常热，如ViT、BoTNet、External Attention等。使用Transformer的传统印象就是慢，这种慢还往往是我们不能接受的推理速度。在最近的实验中，基于单张2 阅读全文

摘要： torch.nn.init 作者：elfin Top Bottom ​ 初始化在深度学习模型训练中占有非常重要的位置，好的初始化可以对模型性能有不小的提升。下面将介绍pytorch的一些初始化方法。 Top Bottom 1、calculate_gain torch.nn.init.calculat 阅读全文