又有知识…增加了

摘要： 这里有一个营销倾向！“混合专家MoE”听起来确实比“我们有一堆前馈网络，并根据输入路由到不同的网络”酷多了。 宪法AI也有点像这样，一个更直白的花哨名字。它的基本原理是：不让模型在RLHF中评估输出，而是先让模型根据一套原则，也就是“宪法”，来批判和修改自己的回答。 比如，让模型生成一个回答，然后问 阅读全文

摘要： 大语言模型在训练过程中并不与人类“对话”，首先，需要将与人类互动获得的偏好数据提炼成奖励模型。 步骤 1：收集人类偏好数据 向人类展示一个提示和几个候选答案，通常是两个，有时更多。例如： 提示：“解释熵和交叉熵的区别。” 答案 A：过于技术性的答案 答案 B：清晰准确的答案 人类注释者标记：“B 更 阅读全文

摘要： 我们来思考一下 H·v 的几何意义。H 将一个向量 v 变换成一个新的向量。通常，这种变换会旋转和拉伸 v，同时改变它的方向和长度。 但对于特殊的向量——特征向量，H 只会拉伸（或收缩）它们。它根本不会旋转它们。H·v = λv 的意思是“H 只是将 v 缩放了 λ 倍。” 现在，(H - λI)v 阅读全文

摘要： 想想刚才发生了什么。我们有一个优化问题：“当 v 旋转时，v^T H v 的最大值和最小值是多少？” 这似乎需要用到微积分，检查所有无穷多个方向…… 但事实证明，答案直接通过这个代数方程编码在矩阵本身中！特征值就是那些极端曲率。 更深层次的原因在于：当 v 是一个特征向量，一个特殊的方向时，H·v 阅读全文

摘要： RLHF 是一种特殊的强化学习，它使用与经典强化学习相同的数学框架，但核心却截然不同。 让我们先从“奖励”的区别说起。 在普通的强化学习中：智能体与环境交互。每一步，它都会执行一个动作 a_t，获得一个奖励 r_t，并更新其策略以最大化预期的未来奖励。奖励信号内置于环境中，例如，游戏得分、机器人与目 阅读全文

摘要： 还记得 f(x,y) = x² - y² 吗？它是我们的第一个鞍形曲面。它的 Hessian 矩阵很简单： H = [[2 0] [0 -2]] 漂亮且对角化，没有混合导数，因为原函数中没有 xy 项。但是，说到选择方向……你说得对，方向有无限多。但我们不需要随机地检查所有方向。我们应该有策略。我会 阅读全文

摘要： 你知道一维空间的二次方程是什么样子的吗？比如ax² + bx + c，x²项使它成为二次方程。 二次型是x²项的多维版本。在二维空间中，它看起来像： ax² + bxy + cy² 注意，每个项的次数都是 2: (x², xy, y²)。没有像 x 或 y 这样的线性项，也没有常数项。 美妙之处在于 阅读全文

摘要： 这里有一个问题：v^T H v 到底是什么意思？为什么向量乘以矩阵，然后再乘以向量（的转置），就能得到方向曲率（二阶方向导数）？ 好吧，我们来展开说。首先，矩阵乘以向量是什么意思？ 当你进行 H·v 运算时，你实际上是对 H 的列进行线性组合，并由 v 的各个分量加权。结果是一个新向量，它告诉你 H 阅读全文

摘要： 想象一根碗里的筷子，两端搁在表面上，但中间浮在上面，这时的碗就是一个凸面。 好的，现在的问题是：二阶导数检验的高维版本是什么？ 在一维中，f''(x) > 0 告诉我们凸性。但现在我们有一个包含两个变量的函数 f(x,y)。我们可以求偏导数，x 方向的变化率和 y 方向的变化率。 我们也可以求二阶偏 阅读全文

摘要： 舍入误差只是影响模型输出的很小的一部分，更常见的大部分变化来自于概率、随机性和上下文的相互作用。 在生成回复的最后阶段，模型不会选择一个“预先确定”的词，而是会计算词汇表的概率分布： p(w_i \mid \text{context}) = \frac{e^{z_i / T}}{\sum_j e^{ 阅读全文