摘要:
Transformer的位置编码采用正余弦函数形式,通过不同频率的正弦波叠加实现多尺度位置表示。设计目标包括唯一性、相对位置线性可表示性和多尺度编码。频率按维度指数衰减(底数10000为经验值),偶数维用正弦、奇数维用余弦,形成对称表示。这种编码既能区分绝对位置,又便于学习相对位置关系,是Transformer处理序列顺序的关键机制。 阅读全文
posted @ 2026-03-13 21:38
茴香豆的茴
阅读(11)
评论(0)
推荐(0)
反转字符串中的单词是经典的字符串操作问题,常规解法(如" ".join(reversed(s.split())))虽能通过测试,但额外空间复杂度为 O (N),无法满足 “O (1) 额外空间复杂度下原地操作” 的进阶要求。
本文将拆解 “原地反转单词” 的核心思路 —— 先去除字符串中多余空格,再整体反转字符串,最后逐个反转单词内部字符,并通过快慢指针、双指针等核心技巧,详细分析实现过程中易踩坑的细节,最终给出符合进阶要求的完整原地解法。 阅读全文
为了解决目前方法的 2 个问题:1. 将多级特征融合和边界引导视为两个独立的任务,导致了次优解。2. 无法准确地聚合长程上下文线索。提出了 2 个模块 1 个损失函数:边界指导多级特征融合模块、基于通道相关性的空间语义上下文聚合模块、基于几何相似性的边界损失函数。数据集: ISPRS Vaihingen 和高分二号。 阅读全文
本文介绍了注意力机制的本质。从一个简单的引例开始,首先介绍了一维情况的注意力机制。进一步地,推广到多维情况的注意力机制。最后,介绍了自注意力机制。本文举的例子简单易懂,公式推导清晰明了。 阅读全文