又有知识…增加了

摘要： 如果整数、多项式、矩阵都是“环”，那它们之间除了共享一份公理清单，还有更深刻的实际联系吗？答案是，有！这种联系，就是 “同态” 与 “同构”。 同态，就是一个保持结构的映射。它就像在两个说不同语言，整数语和多项式语的世界之间，派去了一位完美的翻译官。这位翻译官确保：“先交流再翻译”的结果，和“先翻译 阅读全文

摘要： 欢迎来到“结构”的乐园：群、环、域。让我们暂时忘掉数本身，只关注它们进行操作的方式。 群，对称性的语言。它的核心思想是，我们只关心一个集合，以及集合上的一种合成方式，比如加法或乘法，它需要满足几条非常优雅的公理。 封闭性：你拿集合里任何两个元素进行合成，结果必须还在这个集合里。 结合律：(a · b 阅读全文

摘要： 互信息是信息论中最精妙的概念之一，它不仅仅是一个公式，更是一个关于关联的故事。 熵视角：“减少意外”的故事。 想象两个角色：X为天空，晴天或雨天；Y 为你是否带了伞。 一开始，你一无所知。你观察 X（天空），它存在一些不确定性，H(X)，因为你不知道它是晴天还是雨天。现在，有人告诉你 Y，你是否带了 阅读全文

摘要： 从有理数到实数的这一步，是整个构建过程中最深刻、最反直觉的一次飞跃。 我们之前构建自然数、整数、有理数，都像是在用乐高积木搭建已知的、离散的结构。每一个新数，我们都能明确地指出它是什么，比如 -2 是 {(0,2), (1,3)...}，1/2 是 {(1,2), (2,4)...}）。但当我们面对 阅读全文

摘要： 在整数这个崭新的世界里，乘法是畅通无阻的。但它的逆运算——除法，又成了新的不可能任务。6 / 3 = 2，没问题，结果还是个整数。但 3 / 6 呢？2 / 3 呢？1 / 2 呢？在整数的世界里，没有它们的容身之处。 是时候再次启动我们的“创世工具”流水线了。我们将现场展示，如何用完全一样的“有序 阅读全文

摘要： 吉布斯不等式的证明，我们要证明： $ D_{\text{KL}}(P | Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)} \geq 0 $ 等号成立当且仅当对于所有 $ x，P(x) = Q(x)$。 步骤 1：对数的一个关键性质,我们使用以下不等式： $ \ln t 阅读全文

摘要： 为了解决旧领域内“不自然”或“不可能”的问题，我们必须构想并构建一个更广阔的新领域。自然数宇宙的边界，正是被“减法”这道鸿沟给清晰地勾勒了出来。 在我们的自然数世界里，加法 a + b 和乘法 a * b 是畅通无阻的。无论你挑哪两个自然数，结果永远是一个确定的自然数。我们说自然数对加法和乘法是 “ 阅读全文

摘要： “对数似然比”听起来很复杂，但当你一层层剥开它的面纱，就会发现它其实是由非常简单、非常自然的概念构成的。 “似然比”（likelihood）是比较同一事件的两种说法。假设你对同一个变量 X 有两个不同的概率分布： P(x)：你的“真实”模型，或者你认为正确的分布 Q(x)：一个替代模型，或者一个假设 阅读全文

摘要： 首先，我们来看链式法则的含义：H(X,Y) = H(X) + H(Y|X) 究竟是什么意思？ 它很简单：(X,Y) 这对数的不确定性 = X 的不确定性 + 在 X 已知的情况下 Y 的剩余不确定性。这个表述如此自然，以至于这个公式几乎变成了一种翻译。 想象一下，你观察世界分为两个步骤：首先，你了解 阅读全文

摘要： 既然我们已经对熵有了很好的直觉理解，接下来就可以让联合概率和条件概率的概念同样自然易懂。 联合概率分布（Joint Probability Distribution）：如果单个随机变量 X 的分布为 p(x)，那么两个变量 X 和 Y 的联合分布为 p(x,y)。 直觉来说，将 X 和 Y 想象成发 阅读全文