行而上

摘要： 渐进均分性(Asymptotic Equipartition Property, AEP) \(\newcommand{\E}{\mathbb{E}}\)在概率论中，我们有（弱）大数定理：对于一列独立同分布的随机变量\(X_1,X_2,\cdots\)。设\(X_i\sim X\)。前\(n\)个随 阅读全文

摘要： The real measure of information is not in the symbols we send -- it's in the symbols we could have sent, but did not. 信息与随机事件 “信息(information)”的含义是什么呢 阅读全文

摘要： Fourier变换及其逆变换 在我们已经讨论过的Fourier级数中，我们能够取三角函数的一个周期\([-\pi,\pi]\)对任何周期为\(2\pi\)的函数做Fourier展开。现在假设函数的周期不是\(2\pi\)而是一般地具有有限周期\(2T\)，那么很自然地我们可以对三角函数做伸缩，用\( 阅读全文

摘要： 之所以把音乐划分为一些各自独立的阶段，是因为每个阶段都体现出大量的共性特征，这有助于我们厘清混乱无序连续出现的事件之间的关系。二十世纪音乐是一个时间范畴，也是一个风格范畴：这一世纪的音乐建立在明显不同的美学和技术基础上。1907-1908年，勋伯格第一次完全打破了传统的调性体系。从技术角度看，传统调 阅读全文

摘要： $\newcommand{\E}{\mathbb{E}}\newcommand{\F}{\mathcal{F}}$对于一列$\sigma$-algebra $\mathcal{F_0}\subseteq\mathcal{F_1}\subseteq\cdots$（称为一个Filtration）和一列随机变量$X_0,X_1,\cdots$，如果每个$X_n$都是$\mathcal{F}_n$可测的，且对于每个$n$都满足$\E[X_{n+1}\mid \mathcal{F}_n]=X_n$，则称$\{X_n\}$是关于$\{\mathcal{F}_n\}$的Martingale。 阅读全文

摘要： 独立且同分布的随机变量列$X_1,X_2,\cdots$，如果有$E[X_i]=\mu$，$Var(X_i)=\sigma^2$，那么有$S_n\stackrel{d}{\to} Y,Y \sim N(n\mu,n\sigma^2)$。 阅读全文

摘要： $\newcommand{\F}{\mathcal{F}}\newcommand{\B}{\mathcal{B}}\newcommand{\Var}{\text{Var}}\newcommand{\E}{\mathbb{E}}$ 设$X_1,\cdots,X_n,\cdots$是相互独立且同分布的随机变量，大数定理要描述$\dfrac{\sum\limits_{i \in [n]}X_i}{n}$（记为$\dfrac{S_n}{n}$）以何种方式收敛到$\E[X_i]$（记为$\mu$）。$\dfrac{S_n}{n} \stackrel{p}{\to} \mu$称为弱大数定理，$\dfrac{S_n}{n} \stackrel{a.s.}{\to} \mu$称为强大数定理。 阅读全文

摘要： 计算机是无法对程序语言的产生人一样的“理解”的，对于计算机一个程序只是一个字符串。因此要在计算机上运行一段程序就需要把程序语言转化为机器语言，这个过程就是“编译”。编译的第一步（通常称为前端）就是对程序语言做词法分析和语法分析 。 词法分析 词法分析的任务是把一整串程序代码切分成一个一个的token 阅读全文

摘要： 我们已经知道梯度下降的每一次迭代可以看作求\(\hat f(x)=f(x_k)+\lang \nabla f(x_k),x-x_k\rang+\dfrac{1}{2\eta}\|x-x_k\|^2\)的最小值，而\(\hat f(x)\)的选取其实并不是唯一的，换言之我们不一定要选取二次函数。二次函 阅读全文

摘要： 对于在\(g_i(x)=0,h_i(x)\leq 0\)的约束下最小化\(f(x)\)的问题（并不要求convex），我们有Lagrange函数\(L(\vec x,\vec \lambda,\vec \mu)=f(\vec x)+\vec\lambda^\top \vec g(\vec x)+\v 阅读全文

摘要： 在这一部分我们讨论有条件约束的凸优化问题。其中，根据凸优化问题的定义，约束必须是仿射的。 Karush–Kuhn–Tucker Conditions(KKT Conditions) 在数学分析中我们得到了对于函数\(f(x)\)和一系列等式约束\(h_i(x)=0,i \in [k]\)，\(x\) 阅读全文

摘要： 在这一部分我们的目标是求出凸函数的最小值。一般来说，只要我们能解出方程\(\nabla f(x)=0\)我们就能求出最小值点。然而很多时候这一方程的封闭解是不存在的，这要求我们用其它的手段来求最小值。 梯度下降(Gradient Descent) 在线性规划的单纯形法中我们注意到每次移动到一个更优值 阅读全文

摘要： 一段程序在形式上只是一个符号串，程序的语义是人对程序意义的理解。现在我们希望严格化地定义这种理解。 指称语义 下面要讨论的这种方式称为“指称语义”。它是定义程序语义的非常直接方式。指称语义基于抽象语法树，通过归纳定义出表达式的语义和程序语句的语义，描述程序运行的整体效果。 表达式的指称语义 首先定义 阅读全文

摘要： 麦克斯韦方程组 \(\newcommand{\big}{\displaystyle}\)\(\newcommand{\d}{\text{ d}}\)\(\newcommand{\e}{\epsilon}\)到目前为止，我们已经零碎地研究过麦克斯韦方程组。现在我们开始讨论完整地电磁场理论，对于可能以任 阅读全文

摘要： 连续分布的随机变量\(\newcommand{\F}{\mathcal{F}}\newcommand{\B}{\mathcal{B}}\newcommand{\Var}{\text{Var}}\newcommand{\E}{\mathbb{E}}\) 一个随机变量是连续分布的当且仅当它是由一个连续的 阅读全文

摘要： 作用于一电荷上的力不仅取决于它的位置，称为电力，还取决于它的运动速度，称为磁力。磁力具有一种奇怪的方向特性，它的大小和方向都取决于粒子的运动。另外，磁力又总是与空间中该点处某一固定方向垂直。所有这一切都可以通过定义磁场矢量\(B\)来加以描述，于是可以把磁力写作\(qv \times B\)，称为洛 阅读全文

摘要： 可测函数\(\newcommand{\F}{\mathcal{F}}\newcommand{\B}{\mathcal{B}}\newcommand{\Var}{\text{Var}}\newcommand{\E}{\mathbb{E}}\) 下面我们要讨论一个称为“随机变量”的概念，它是样本集到实数 阅读全文

摘要： 凸集 对于点集\(C\)，如果\(\forall x,y \in C\)满足以\(x,y\)为端点的线段都落在\(C\)内，就称\(C\)为凸集。以\(x,y\)为端点的线段写成方程的形式是\(u=x+\theta(y-x)\)，\(\theta \in [0,1]\)。因此“线段落在\(C\)内” 阅读全文

摘要： \(\newcommand{\B}{\mathcal{B}}\)有关概率的概念通常是难以直观加以解释的，直观常常会犯错。因此为了看清概率论的全貌，我们首先要了解概率论中的基本概念。下面讨论一般情形下概率空间的定义。 概率空间 概率空间包括三部分：样本空间、事件集和概率测度。 样本空间 样本空间是我们 阅读全文

摘要： 全部电磁学都包含在麦克斯韦方程组中，而这些方程描述的情况十分复杂。其中最简单的情况是任何事物都与时间无关——静态——的情况。这样我们首先就能在方程组中消去与时间有关的项。把静态的方程写出来之后，我们发现前两个方程只与电场有关，后两个方程只与磁场有关。这意味着只要电荷（和电流）是静止的，电和磁就是两个 阅读全文

摘要： ## 电磁辐射的“基本定律” 在讨论电磁辐射时，我们肯定需要用到电磁学的定律。在电磁学的部分我们会详细讨论这些定律的内容。但当我们做一些近似以后，我们发现它有很简单的数学形式，以致于我们只要把这种数学形式作为一种“已知的定律”记住，就可以用初等的方法研究光学和电动力学。 我们可以这样描述电磁学的全部 阅读全文

摘要： 电磁辐射的宽广谱系被一个称为“波长”的变量加以区分。波长从长到短经历了无线电波、红外波、可见光、紫外波、X射线、$\gamma$射线等等。其中，有三个区域特别值得关注。一个区域内，波长比用来研究它的一起的尺度小得多，此时可以用一种称为“几何光学”得方法来作粗略的一级近似；另一个区域内，波长与仪器的尺 阅读全文

摘要： ## 巴赫，艾舍尔，哥德尔 巴赫是卡农创作的大师。卡农的基本特点是一个单一的主题与它自己相伴而奏，由加入的各个声部分别唱出主题的副本，这些副本包括主题在音高上的平移， 时长上的拉伸与收缩，镜像，逆行等。但是无论是哪种副本，它都保持有与原主题完全相同的信息，也即从每个副本中都有足够的信息可以恢复出原主 阅读全文

摘要： 到现在为止我们讨论的问题都是面对一个问题如何设计出一个高效的算法。现在我们要讨论一个不同的问题，我们可以通过分析证明：一些问题是不可能存在高效的算法的。而证明的方法依然是设计算法。 ## NP-complete问题 多项式时间复杂度是优秀的复杂度。确定型图灵机能在多项式时间复杂度内找到解的问题的集合 阅读全文

摘要： 声波 波动现象出现在物理学的许多领域中，力学中出现振动传播形成的机械波，电磁学中出现电磁波，在现代物理学中还有给出发现粒子概率的物质波。下面我们以力学中的声波作为一个波的特殊的对象来讨论。 声学是力学的一个分支，所以它要用牛顿定律来解释。声波由一处往另一处传播，只是力学定律及传播声的那种物质（介质） 阅读全文