又有知识…增加了

摘要： 为了解决旧领域内“不自然”或“不可能”的问题，我们必须构想并构建一个更广阔的新领域。自然数宇宙的边界，正是被“减法”这道鸿沟给清晰地勾勒了出来。 在我们的自然数世界里，加法 a + b 和乘法 a * b 是畅通无阻的。无论你挑哪两个自然数，结果永远是一个确定的自然数。我们说自然数对加法和乘法是 “ 阅读全文

摘要： “对数似然比”听起来很复杂，但当你一层层剥开它的面纱，就会发现它其实是由非常简单、非常自然的概念构成的。 “似然比”（likelihood）是比较同一事件的两种说法。假设你对同一个变量 X 有两个不同的概率分布： P(x)：你的“真实”模型，或者你认为正确的分布 Q(x)：一个替代模型，或者一个假设 阅读全文

摘要： 首先，我们来看链式法则的含义：H(X,Y) = H(X) + H(Y|X) 究竟是什么意思？ 它很简单：(X,Y) 这对数的不确定性 = X 的不确定性 + 在 X 已知的情况下 Y 的剩余不确定性。这个表述如此自然，以至于这个公式几乎变成了一种翻译。 想象一下，你观察世界分为两个步骤：首先，你了解 阅读全文

摘要： 既然我们已经对熵有了很好的直觉理解，接下来就可以让联合概率和条件概率的概念同样自然易懂。 联合概率分布（Joint Probability Distribution）：如果单个随机变量 X 的分布为 p(x)，那么两个变量 X 和 Y 的联合分布为 p(x,y)。 直觉来说，将 X 和 Y 想象成发 阅读全文

摘要： 随机变量 g(X) 的期望可以记为： \mathbb{E}_p g(X) = \sum_{x \in \mathcal{X} }g(x) p(x) “当 g(X) = log(1/p(X))时，X 的熵是 log(1/p(X)) 的期望值。” H(X)=- \sum_{x \in \mathcal{ 阅读全文

摘要： 我们继续构建数学的大厦！首先，这里什么都没有，纯粹的空无，空集：∅ 或 {}。这是我们的基石，一个没有任何元素的集合。 现在，我们可以把这片虚无放进一个盒子里，我们得到：{∅}，一个包含空集的集合。这是“ 1 ”。不是因为它有一个叫做“ 1 ”的元素，而是因为它本身就是“ 1 ”的结构。 现在我们有 阅读全文

摘要： 透明循环，它们总是易于预测。这类循环具有清晰的递减规律，它始终朝着一个终止点前进。你只需阅读代码就能“看到”它们的结束。你可以看到 i 不断缩小，最终会达到 0。我们称之为良基循环，它必然会停止，因为某个有限的值在倒计时。 i = 10 while i > 0: i = i - 1 另一个例子，你知 阅读全文

摘要： 我们现在的情况，就像刚刚在数学的空地上，用集合的砖石砌好了两个坚固的基石：1. 无序的容器（集合本身）。2. 人为创造的顺序（有序对）。从这两块基石出发，数学大厦的第一层可以开始以惊人的速度拔地而起。接下来，我们可以像玩一个开放世界游戏一样，用这些基础素材去合成几件至关重要的“神器”。 第一件神器： 阅读全文

摘要： 想象一下，你有一个信息，比如一串数字、一张图片或一段旋律。现在来问自己：“能够生成这个信息的最短计算机程序是什么？”这个最短程序的长度，以比特为单位，就是该对象的柯尔莫哥洛夫复杂度（Kolmogorov complexity）。 这不再是关于概率的问题；而是关于描述的问题，重现这个对象需要多少理解？ 阅读全文

摘要： 我们现在在教科书和数学课程中学到的集合论，几乎无一例外，都是在解决了罗素悖论之后建立起来的公理集合论体系，最常见的就是 ZF（策梅洛-弗兰克尔）或 ZFC（策梅洛-弗兰克尔-选择公理）系统： 1. 朴素集合论：就像最初人们觉得“有一块地，就能在上面盖任何想要的房子”。直观、自由，但结果盖出了会倒塌的 阅读全文