摘要：
微分熵(Differential Entropy)\(\newcommand{\d}{\text{ d}}\) 对于连续的随机变量\(X\)，假如它有概率密度函数\(f(x)\)，那么我们仿照离散熵的表达式，定义\(X\)的微分熵为\(h(X)=-\displaystyle\int_S f(x)\l 阅读全文
摘要：
我们可以从有限群的大小\(|G|\)的质因数分解出发研究有限群的结构。 有限交换群 首先，我们研究交换群。对于交换群而言，所有子群都是正规子群。因此，所有的商集都会形成商群。由此我们能得到一些重要性质。 设\(G\)是有限交换群，\(|G|=n\)。假如\(n\)有素因子\(p\)，也即存在素数\( 阅读全文
摘要：
在上一部分中，我们由群\(G\)中某个元素\(g\)的左乘引发的单射讨论了陪集、同态等内容。现在，我们把这种左乘推广到任意的一个集合\(X\)上。给定一个群\((G,\cdot)\)和一个非空集合\(X\)，如果我们能够定义一个\(G\)中元素和\(X\)中元素的运算\(\circ\)满足以下三条性 阅读全文
摘要：
同态(Homomorphism) 现在我们能够更深刻地理解“群”到底描述了什么。群描述且仅描述一个给定集合以及定义在该集合上的唯一的一个二元运算。任意给定群里的两个元素，我们总能通过“运算”这一方式确定是群里的哪个元素与这两个元素对应。如果我们抛开群中每个元素的具体名字不看，元素个数与这种由每两个元 阅读全文
摘要：
陪集(Coset) 在Cayley定理的证明中，以及在证明对称群中奇置换与偶置换数量相等时，我们都用到了群的这样一个性质：如果以群\(G\)中的任意一个特定元素\(g\in G\)来产生一个映射\(G\to G:f(x)=g\circ x\)，则\(f\)一定是单射。这本质上缘于群具有“消去律”的性 阅读全文
摘要：
循环群(Cyclic Group) 生成子群 对于任意群\(G\)的非空子集\(A\)，定义\(\lang A\rang =\bigcap\limits_{i \in I}H_i\)，其中\(H_i\)是所有包含\(A\)的\(G\)的子群。称\(\lang A\rang\)是由\(A\)生成的子群 阅读全文
摘要：
群(Group)的定义 代数是用字母表示数，是对数的运算与关系研究的一种抽象（抽象即一般化的讨论）。在这种抽象下，\(2+3\)、\(12+35\)这类表达式都可以用一个抽象的代数表达式\(x+y\)来描述。这是对运算对象的抽象，可以研究数的性质。如果更一般化地我们对“运算”也进行抽象，例如将\(+ 阅读全文
摘要：
\(\newcommand{\X}{\mathcal{X}}\newcommand{\Y}{\mathcal{Y}}\) Channel(信道) “通信”(Communication)到底是什么？严格地说，当我们说\(A\)与\(B\)通信时，我们指的是\(A\)通过一些物理作用改变了\(B\)的物 阅读全文
摘要：
\(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\X}{\mathcal{X}}\)现在我们要开始讨论熵的意义，为此我们依然要回到数据的压缩编码这一核心概念上。 首先我们要严格地定义编码。在这里，我们默认是用二进制进行编码。事实上，我们将要证明的所有结论对于 阅读全文
摘要：
随机过程(Stochastic Process)\(\newcommand{\E}{\mathbb{E}}\) 在渐进均分性中，我们讨论的是一列独立同分布的随机变量。现在我们要讨论一列并不独立同分布的随机变量，这样的一列随机变量通常被称为一个“随机过程”，记为\(X_1,X_2,\cdots,X_t 阅读全文
摘要：
渐进均分性(Asymptotic Equipartition Property) \(\newcommand{\E}{\mathbb{E}}\)在概率论中，我们有大数定理（弱）：对于一列独立同分布的随机变量\(X_1,X_2,\cdots\)，前\(n\)个随机变量的平均值\(\dfrac{1}{n 阅读全文
摘要：
熵(Entropy)\(\newcommand{\E}{\mathbb{E}}\) 对于随机变量\(X\)，我们用熵\(H(X)\)来衡量其“不确定性”。假设\(X\)有概率密度（暂且假设它是离散的）函数\(p(x)\)，其中\(p(x)=Pr[X=x]\)，则定义\(X\)的熵(Entropy)为 阅读全文
摘要：
Fourier变换及其逆变换 在我们已经讨论过的Fourier级数中，我们能够取三角函数的一个周期\([-\pi,\pi]\)对任何周期为\(2\pi\)的函数做Fourier展开。现在假设函数的周期不是\(2\pi\)而是一般地具有有限周期\(2T\)，那么很自然地我们可以对三角函数做伸缩，用\( 阅读全文
摘要：
量子力学描述物质和光的行为的各方面细节，特别是发生在原子尺度上的事件。在微小尺度下事物的行为一点也不像我们有着直接经验的任何事物，因为一切人类的直接经验和所有的人类直觉都只适用于大的物体。所以我们必须用一种抽象的或想象的方式，而不是把它与我们的直接经验联系起来的方式来学习。 电子双缝干涉与不确定性原 阅读全文
摘要：
之所以把音乐划分为一些各自独立的阶段，是因为每个阶段都体现出大量的共性特征，这有助于我们厘清混乱无序连续出现的事件之间的关系。二十世纪音乐是一个时间范畴，也是一个风格范畴：这一世纪的音乐建立在明显不同的美学和技术基础上。1907-1908年，勋伯格第一次完全打破了传统的调性体系。从技术角度看，传统调 阅读全文
摘要：
$\newcommand{\E}{\mathbb{E}}\newcommand{\F}{\mathcal{F}}$对于一列$\sigma$-algebra $\mathcal{F_0}\subseteq\mathcal{F_1}\subseteq\cdots$（称为一个Filtration）和一列随机变量$X_0,X_1,\cdots$，如果每个$X_n$都是$\mathcal{F}_n$可测的，且对于每个$n$都满足$\E[X_{n+1}\mid \mathcal{F}_n]=X_n$，则称$\{X_n\}$是关于$\{\mathcal{F}_n\}$的Martingale。 阅读全文
摘要：
独立且同分布的随机变量列$X_1,X_2,\cdots$，如果有$E[X_i]=\mu$，$Var(X_i)=\sigma^2$，那么有$S_n\stackrel{d}{\to} Y,Y \sim N(n\mu,n\sigma^2)$。 阅读全文
摘要：
$\newcommand{\F}{\mathcal{F}}\newcommand{\B}{\mathcal{B}}\newcommand{\Var}{\text{Var}}\newcommand{\E}{\mathbb{E}}$
设$X_1,\cdots,X_n,\cdots$是相互独立且同分布的随机变量，大数定理要描述$\dfrac{\sum\limits_{i \in [n]}X_i}{n}$（记为$\dfrac{S_n}{n}$）以何种方式收敛到$\E[X_i]$（记为$\mu$）。$\dfrac{S_n}{n} \stackrel{p}{\to} \mu$称为弱大数定理，$\dfrac{S_n}{n} \stackrel{a.s.}{\to} \mu$称为强大数定理。 阅读全文
摘要：
计算机是无法对程序语言的产生人一样的“理解”的，对于计算机一个程序只是一个字符串。因此要在计算机上运行一段程序就需要把程序语言转化为机器语言，这个过程就是“编译”。编译的第一步（通常称为前端）就是对程序语言做词法分析和语法分析 。 词法分析 词法分析的任务是把一整串程序代码切分成一个一个的token 阅读全文
摘要：
我们已经知道梯度下降的每一次迭代可以看作求\(\hat f(x)=f(x_k)+\lang \nabla f(x_k),x-x_k\rang+\dfrac{1}{2\eta}\|x-x_k\|^2\)的最小值，而\(\hat f(x)\)的选取其实并不是唯一的，换言之我们不一定要选取二次函数。二次函 阅读全文
摘要：
对于在\(g_i(x)=0,h_i(x)\leq 0\)的约束下最小化\(f(x)\)的问题（并不要求convex），我们有Lagrange函数\(L(\vec x,\vec \lambda,\vec \mu)=f(\vec x)+\vec\lambda^\top \vec g(\vec x)+\v 阅读全文
摘要：
在这一部分我们讨论有条件约束的凸优化问题。其中，根据凸优化问题的定义，约束必须是仿射的。 Karush–Kuhn–Tucker Conditions(KKT Conditions) 在数学分析中我们得到了对于函数\(f(x)\)和一系列等式约束\(h_i(x)=0,i \in [k]\)，\(x\) 阅读全文
摘要：
\(\newcommand{\P}{\mathbb{P}}\newcommand{\A}{\mathfrak{A}}\)在关于完备性的讨论中，我们最终得到了只要有\(\Phi \vdash \varphi\)成立，那么它当且仅当\(\Phi \models \varphi\)。也就是说，在一阶逻辑上 阅读全文
摘要：
在这一部分我们的目标是求出凸函数的最小值。一般来说，只要我们能解出方程\(\nabla f(x)=0\)我们就能求出最小值点。然而很多时候这一方程的封闭解是不存在的，这要求我们用其它的手段来求最小值。 梯度下降(Gradient Descent) 在线性规划的单纯形法中我们注意到每次移动到一个更优值 阅读全文
摘要：
一段程序在形式上只是一个符号串，程序的语义是人对程序意义的理解。现在我们希望严格化地定义这种理解。 指称语义 下面要讨论的这种方式称为“指称语义”。它是定义程序语义的非常直接方式。指称语义基于抽象语法树，通过归纳定义出表达式的语义和程序语句的语义，描述程序运行的整体效果。 表达式的指称语义 首先定义 阅读全文