摘要： 随缘刷题 —— Leetcode127单词接龙 题目描述 字典 wordList 中从单词 beginWord 到 endWord 的 转换序列 是一个按下述规格形成的序列 beginWord -> s1 -> s2 -> ... -> sk： 每一对相邻的单词只差一个字母。 对于 1 <= i < 阅读全文

摘要： 模板是 C++ 泛型编程的基石。借助模板，我们可以用类型或编译期的值作为参数，定义一族类、函数或变量。它表达的思路很直观：先把共同的逻辑写出来，再代入具体参数，得到所需的类型或操作。这一篇就从语言机制入手，聊聊 C++ 中的模板。笔记主要整理自 Bjarne Stroustrup 的《A Tour of C++》。 阅读全文

摘要： 上一篇中，我们聊了 C++ 中几种常见的类设计，以及虚函数、继承和资源管理等相关特性。这一篇我们继续看看类对象在初始化、赋值、拷贝和移动时的一些细节。 阅读全文

摘要： "类"是 C++ 的核心语言特性，也是一种用户定义的类型。当程序中出现一个值得单独表达的概念、实体或数据集合时，我们就可以考虑用类来描述它。这篇笔记主要整理自阅读《A Tour of C++》时的思考，下面就从几个例子出发，聊聊类以及与它相关的一些技术。 阅读全文

摘要： “我爱着她”，就一定等于“她爱着我”吗？ 对语言模型来说，知道一句话里出现了哪些词还不够，它还需要知道这些词按照什么顺序排列。 Transformer 中每一个token的注意力计算与它所在的位置无关。位置编码要做的，正是把这种信息放进模型。 随着大模型不断发展，位置编码的形式也在不断变化。这篇笔记就整理一下位置编码的知识叭🤩 阅读全文

摘要： 刚开始看 Transformer 时，注意力机制往往最吸引眼球。可是查看模型代码，会发现每一层还有一个前馈网络，而激活函数毫无疑问在这中间扮演了重要角色。今天手搓Qwen3模型的时候就突然注意到官方配置里有 `hidden_act=silu`选项。一查才发现原来Qwen家族的模型和大多数开源模型一直用的都是SwiGLU这种激活函数，而不是之前学习中常见的ReLU。于是乎研究了一下各种奇形怪状的激活函数，整理一下~~ 本文按 **Sigmoid / tanh → ReLU → GELU / SiLU → GLU / SwiGLU** 展开，简单介绍几种关键的激活函数。 阅读全文