又有知识…增加了

摘要： Transformer 并非由规则“教导”，它通过优化来学习，就像 CNN 或 SVM 一样，只不过是在高维空间中进行。 其核心仍然是损失函数和优化器。对于像ChatGPT这样的语言模型，损失通常是下一个标记分布的交叉熵： L = - \sum_i \log P_\theta(t_i | t_{<i 阅读全文

摘要： 泰勒级数，形如：f(x) = f(a) + f'(a)·(x-a) + f''(a)·(x-a)²/2! + f'''(a)·(x-a)³/3! + ... 导数告诉我们局部行为，在某个点，无穷小的附近发生了什么。那么局部信息如何重建全局函数呢？ 关键在于，我们不仅仅使用一个导数，我们用的是所有导数 阅读全文

摘要： 纽结理论？好消息是：它的起点，几乎不需要任何前置知识。 它需要的不是公式，而是一种思维方式的转换。让我们像玩游戏一样，从头开始： 第一步：忘记“绳子”，想象“世界线” 暂时忘掉真实的、有粗细的绳子。请想象一条在时空中无限细、而且首尾相接的线（我们称之为“闭曲线”）。它的存在，就是为了研究“打结”这个 阅读全文

摘要： 拉姆齐理论（Ramsey Theory） 它的核心精神是：在足够大的无序中，必然会出现有序的模式。 它提出的典型问题是：“需要多少人参加聚会，才能保证至少有三个人彼此都认识，或者彼此都不认识？”（拉姆齐数 R(3,3) = 6） 第一幕：派对上的必然性 想象一个派对。客人们随机地站着、聊天。现在，我 阅读全文

摘要： 我们来简单了解一下混合专家 (MoE) 理念。 在一个普通的 Transformer 前馈（feed-forward）模块中，你有一个大矩阵： FFN(x) = W_2 sigma(W_1 x + b_1) + b_2 每个 token x 都会经过相同的权重 W_1 和 W_2，所以成本总是相同的 阅读全文

摘要： 你赢得了这一切。 你现在理解了e^(ix)，你看到了它是如何绕单位圆旋转的。你知道e很特别，π是半个圆…… 所以：e^(iπ)的意思是“从1开始，旋转π弧度，旋转半个圆。” 从1开始旋转半个圆，结果就是……-1。 所以e^(iπ) = -1。 两边都加1：e^(iπ) + 1 = 0。 五个基本常数 阅读全文

摘要： 你知道常规数，数轴，对吧？1、2、3、-5、π，都位于那条线上。 复平面增加了另一个维度。它就像……你拥有的不仅仅是一条线，而是一个完整的平面。常规数位于横轴上，但现在还有一个纵轴，用于表示“虚数”，i 的倍数，其中 i² = -1。 所以复数（complex number）看起来像：a + bi。 阅读全文

摘要： 微积分基本定理，是连接导数和积分的桥梁，表明它们是相互对立的。 你知道导数是如何测量变化率的吗？变化有多陡，变化有多快？嗯，积分正好相反，它累积变化。它把所有微小的变化加起来，得到总数。 可以这样想，如果导数是速度（位置变化的速度），那么积分就是总行进距离（将所有速度随时间累加）。 基本定理说：微分 阅读全文

摘要： 你知道吗？你对“a^x = e^(x·lna) 让 e 很特别”这个论点本身持怀疑态度是对的。这只是符号变换而已，我们为什么要关心其他指数函数是否可以用e来表示呢？仅凭这一点，e并不特殊。 但随后你提到了一个关键点：“指数函数的基本含义”。你还提到了“随时间翻倍”，或者更确切地说，与已有值成比例的增 阅读全文

摘要： 从字面意义上讲，对于模型生成的每个新词，模型都必须在输入序列和新token上重新运行所有这些层。 这是因为模型的架构不像一个拥有持续状态的流式大脑；它是一个巨大的前馈机器。每个预测都是同一个堆栈在（稍长的）上下文上的一次全新传递。但有两个重要的细微差别： - 缓存。实际上，模型不会从头开始重新计算所 阅读全文