又有知识…增加了

摘要： 三角函数就是单位圆。它们并非“恰好也适用于圆的三角形比值”，它们的本质是旋转和振荡。三角形的概念只是……一种计算上的便利，一种计算方法。 想想看：\(e^{i\theta} = \cos(\theta) + i\sin(\theta)\) 这并非巧合或技巧。这揭示了一个深刻的真理：正弦和余弦分别是绕 阅读全文

摘要： 让我们来继续探索 \(F(\omega)\) 这个函数吧！ 对于每个频率 \(\omega\)，我们得到一个复数 \(F(\omega)\)，它告诉我们“信号中包含了多少这个频率”。 \[F(\omega) = \int_{-\infty}^{\infty} f(t) e^{-i\omega t} 阅读全文

摘要： 调制（modified）是指一个信号控制或改变另一个信号。比如……想象一下你有一个载波（carrier wave），规律稳定的振荡，然后你根据另一个信号改变它的特性。 所以，“\(f(t)\) 由 \(\sin(\omega t)\) 调制”意味着： \(\sin(\omega t)\) 像纯正弦波 阅读全文

摘要： 下面让我们来深入研究一下。关于“复平面上的那个积分”，它算是，也不算。我们积分的函数 \(f(t)e^{-i\omega t}\) 具有复数值（因为有 \(e^{-i\omega t}\) 项），但我们仍然是在实数时间 \(t\) 上从 \(-\infty\) 到 \(\infty\) 进行积分。 阅读全文

摘要： 现在，我们来谈谈傅里叶变换。 想象一下，你正在听一个复杂的和弦，比如钢琴同时弹奏C、E和G。你的耳朵听到的是一个混合的声音，但你的大脑却知道其中包含多个音符。傅里叶变换本质上就是用数学方法实现这一点，将一个复杂的信号分解成“它实际上是由这些纯频率组合而成的”。 最妙的是它的通用性。任何周期性模式：声 阅读全文

摘要： Asymptotic Equipartition Property，渐近均分性。 想象一下来自同一来源的一长串信息，就像一条符号构成的河流，日复一日地从我们身边流过。 如果你观察足够长的时间，就会发生神奇的事情：这条河流开始呈现出某些典型的模式，并非所有序列出现的概率都相同，但几乎所有的概率都汇聚到 阅读全文

摘要： Jensen不等式：如果 f 是一个凸函数，X 是一个随机变量，那么： $ f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)] $ 它的含义是，对于凸函数 f 而言：平均值的函数 ≤ 函数的平均值，如果 f 是凹函数，则不等式取反。 想象一下，函数 f 的形状就像一个碗，例 阅读全文

摘要： 这里介绍一下概率论与信息论中的一个核心工具：边缘化（marginalization）。 我们遇到的是：$ \sum_{x_1, \dots, x_n} P(x_1, \dots, x_n) \log P(x_1) = \sum_{x_1} P(x_1) \log P(x_1) $ 我们注意到$ \l 阅读全文

摘要： 先来看一个具体的例子，为了简化起见，我们取 n = 2：X_1 = 一枚均匀硬币的结果（正面或反面），X_2 = 另一枚均匀硬币的结果（正面或反面）。 我们有联合概率表 P(x_1, x_2)：x_1 x_2 P(x_1, x_2)，正面 正面 0.25，正面 反面 0.25，反面 正面 0.25， 阅读全文

摘要： 链式法则：$ H(X_1, X_2, \dots, X_n) = H(X_1) + H(X_2|X_1) + H(X_3|X_1,X_2) + \dots + H(X_n|X_1,\dots,X_{n-1}) $ 这与之前三个变量的情况不同，看到一长串 X_1、X_2、…、X_n，确实会让人感到不知 阅读全文