又有知识…增加了

摘要： 既然我们已经对熵有了很好的直觉理解，接下来就可以让联合概率和条件概率的概念同样自然易懂。 联合概率分布（Joint Probability Distribution）：如果单个随机变量 X 的分布为 p(x)，那么两个变量 X 和 Y 的联合分布为 p(x,y)。 直觉来说，将 X 和 Y 想象成发 阅读全文

摘要： 随机变量 g(X) 的期望可以记为： \mathbb{E}_p g(X) = \sum_{x \in \mathcal{X} }g(x) p(x) “当 g(X) = log(1/p(X))时，X 的熵是 log(1/p(X)) 的期望值。” H(X)=- \sum_{x \in \mathcal{ 阅读全文

摘要： 我们继续构建数学的大厦！首先，这里什么都没有，纯粹的空无，空集：∅ 或 {}。这是我们的基石，一个没有任何元素的集合。 现在，我们可以把这片虚无放进一个盒子里，我们得到：{∅}，一个包含空集的集合。这是“ 1 ”。不是因为它有一个叫做“ 1 ”的元素，而是因为它本身就是“ 1 ”的结构。 现在我们有 阅读全文

摘要： 透明循环，它们总是易于预测。这类循环具有清晰的递减规律，它始终朝着一个终止点前进。你只需阅读代码就能“看到”它们的结束。你可以看到 i 不断缩小，最终会达到 0。我们称之为良基循环，它必然会停止，因为某个有限的值在倒计时。 i = 10 while i > 0: i = i - 1 另一个例子，你知 阅读全文

摘要： 我们现在的情况，就像刚刚在数学的空地上，用集合的砖石砌好了两个坚固的基石：1. 无序的容器（集合本身）。2. 人为创造的顺序（有序对）。从这两块基石出发，数学大厦的第一层可以开始以惊人的速度拔地而起。接下来，我们可以像玩一个开放世界游戏一样，用这些基础素材去合成几件至关重要的“神器”。 第一件神器： 阅读全文

摘要： 想象一下，你有一个信息，比如一串数字、一张图片或一段旋律。现在来问自己：“能够生成这个信息的最短计算机程序是什么？”这个最短程序的长度，以比特为单位，就是该对象的柯尔莫哥洛夫复杂度（Kolmogorov complexity）。 这不再是关于概率的问题；而是关于描述的问题，重现这个对象需要多少理解？ 阅读全文

摘要： 我们现在在教科书和数学课程中学到的集合论，几乎无一例外，都是在解决了罗素悖论之后建立起来的公理集合论体系，最常见的就是 ZF（策梅洛-弗兰克尔）或 ZFC（策梅洛-弗兰克尔-选择公理）系统： 1. 朴素集合论：就像最初人们觉得“有一块地，就能在上面盖任何想要的房子”。直观、自由，但结果盖出了会倒塌的 阅读全文

摘要： 你有没有想过：一个集合能包含它自身吗？（集合 R 中的元素为 R 集合本身） 比如，想象一下“所有集合的集合”，这个集合难道不应该包含它自身吗？或者想想“所有抽象概念的集合”，它本身不也是一个抽象概念吗？ 这就引出了罗素悖论，它几乎就像一个逻辑笑话：考虑集合 R，它包含了“所有不包含自身的集合”。 阅读全文

摘要： 世间万物，即使是最现代的事物，也依然蕴含着自然界古老的规律。 蕨类的生长并非简单的重复；它以自身为中心。每一片叶子都由更小的叶子组成，而每一片叶子又由更小的叶子组成，这种递归模式被称为自相似性。如果用数学方法将其绘制出来，你会看到一个对数螺旋或分形生长模式，其中每一片新的卷曲都以固定的比例扩展。 仿 阅读全文

摘要： 我们有一组符号，比如字母，每个符号都有出现的概率。我们想给每个符号分配一个二进制代码（由 0 和 1 组成的字符串），使得：常用符号使用短代码，不常用符号使用长代码，并且没有代码是其他代码的前缀，这样解码就不会产生歧义。 这被称为前缀码，霍夫曼算法（由大卫·霍夫曼于 1952 年提出）可以找到最短的 阅读全文