随笔分类 -  学习记录

四、Self-Attn的一些细节补充
摘要：# 占坑 阅读全文
posted @ 2023-06-30 02:06 Abyss_J 阅读(16) 评论(0) 推荐(0)
三、Self-Attn 与 Deformable-Attn
摘要：## 1、Deformable Attention 的理解 Deforable Attention，是Deforable DETR 架构中使用的一个注意力模块，与传统Transformer 查询所有空间位置不同，Deformable Attention 只关注 **参考点（reference Poi 阅读全文
posted @ 2023-05-15 21:40 Abyss_J 阅读(1111) 评论(0) 推荐(0)
二、优化算法
摘要：先挖个坑 阅读全文
posted @ 2023-05-15 21:31 Abyss_J 阅读(21) 评论(0) 推荐(0)
一、正则化
摘要：## 1、正则化的理解 当模型的复杂度>>数据的复杂度时，会出现过拟合现象，即模型过度拟合了训练数据，其泛化能力变差。为此，会通过**数据增强、降维、正则化**等方法防止模型过拟合。 $$ \mathop{\arg\min}\limits_{\omega} (\mathcal{L}(w) + \la 阅读全文
posted @ 2023-04-06 15:51 Abyss_J 阅读(231) 评论(0) 推荐(0)