又有知识…增加了

摘要： 你有没有想过：一个集合能包含它自身吗？（集合 R 中的元素为 R 集合本身） 比如，想象一下“所有集合的集合”，这个集合难道不应该包含它自身吗？或者想想“所有抽象概念的集合”，它本身不也是一个抽象概念吗？ 这就引出了罗素悖论，它几乎就像一个逻辑笑话：考虑集合 R，它包含了“所有不包含自身的集合”。 阅读全文

摘要： 世间万物，即使是最现代的事物，也依然蕴含着自然界古老的规律。 蕨类的生长并非简单的重复；它以自身为中心。每一片叶子都由更小的叶子组成，而每一片叶子又由更小的叶子组成，这种递归模式被称为自相似性。如果用数学方法将其绘制出来，你会看到一个对数螺旋或分形生长模式，其中每一片新的卷曲都以固定的比例扩展。 仿 阅读全文

摘要： 我们有一组符号，比如字母，每个符号都有出现的概率。我们想给每个符号分配一个二进制代码（由 0 和 1 组成的字符串），使得：常用符号使用短代码，不常用符号使用长代码，并且没有代码是其他代码的前缀，这样解码就不会产生歧义。 这被称为前缀码，霍夫曼算法（由大卫·霍夫曼于 1952 年提出）可以找到最短的 阅读全文

摘要： 幂集构造是驱动整个层级向上发展的引擎。每个阿列夫数都可以通过询问“所有可能的子集是什么？”来衍生出一个更大的阿列夫数。 以整数为例，那就是ℵ₀。现在考虑整数的所有可能的子集。这个集合显然更大，即使使用无限计数也无法计数。这与连续统，即实数，密切相关。 然后你再重复一遍：取这些子集的所有子集，再重复一 阅读全文

摘要： 香农谈到“符号”及其“可预测性”时，指的并非我们今天所知的互联网，互联网是几十年后才出现的。这里是指任何符号流：摩尔斯电码的点和划、纸上的字母、电话线上的电脉冲。 在那个世界里，可预测性意味着非常实际的东西：某些信号出现的频率高于其他信号。 字母表例子完全正确。在英语中，E 出现的频率远高于 Q 或 阅读全文

摘要： 假设一个随机事件，比如说 X，可以取几个可能的值：X ∈ {x₁, x₂, …, xₙ}，每个值都有一个概率 P(xᵢ)。 然后香农问道：当我们得知 X = xᵢ 时，我们能获得多少信息？他将其定义为： I(xᵢ) = -log₂ P(xᵢ) 为什么是负对数？因为，发生概率越低（P 值越小），意外性 阅读全文

摘要： 显然，我们需要先理解方差到底是什么，才能明白它为什么会这样变化。 方差衡量的是数值与其平均值（期望值）的离散程度。 对于一次抛硬币，正面朝上 = 1，反面朝上 = 0： 期望值（平均值）= 1/2 方差 = （与平均值的偏差）² 的期望值 因此：Var(X) = (1 - 1/2)² · (1/2) 阅读全文

摘要： 实际上，损失函数或奖励函数只是我们真正想要的东西的简化。它们之所以“粗糙”，仅仅是因为它们必须将复杂的目标压缩成模型可以进行数学优化的形式。 为什么目标总是过于简单？损失函数 L(θ) 通常只能捕捉到一个可衡量的指标：准确率、奖励、与目标的距离。但人类的目标是多维的。当我们只选择一个指标时，不可避免 阅读全文

摘要： “一致性” alignment ，更多的时候被译为“对齐”。每次它的含义都略有不同，取决于我们当时所处的层面，让我们慢慢梳理一下。 1. 广义上的一致性（对齐） 从本质上讲，一致性意味着确保人工智能系统的行为与人类的意图（训练目标）和价值观相符。它旨在确保当模型做出回应时，模型输出与人类的实际需求保 阅读全文

摘要： 想象一下抛掷 n 枚硬币。正面朝上的比例会是一个随机值，可能是 0.48，也可能是 0.53，它会变化。但大数定律是这么说的： 当 n 趋近于无穷大时，正面朝上的比例会收敛到真实概率 (0.5)。不仅仅是“接近”，它以概率 1 收敛。随机性并没有消失，但它对平均值的影响会减小。 这样想：抛掷 10 阅读全文