机械学习(一)
Variables & Random Variables
超平面:在二维空间中它是一条直线,在三维空间中它是一个平面,在高维空间中则称为超平面,它是分类问题(如SVM)的核心
这里展示了二维平面上的两个向量。x是平面上的一个点/向量,红色的斜线是超平面(直线),a是垂直于这条直线的法向量。
\[\mathbf{a}^T\mathbf{x}\text{就是向量内积(即 }a_1x_1+a_2x_2)
\]
a为法向量,垂直于这条直线
“Variables (variables, vectors, matrices)”:
- 单一的数值(如某个时间点心电值、某个人数)是变量(Variable)
- 一串有序的数值(如整段心电序列、一行表格)是向量(Vector)
- 多维结构(如整张图片、整个表格)是矩阵(Matrix)
机器学习是把这些真实数据(矩阵/向量)输入模型,寻找分类或回归的边界
随机变量的定义,以及两大分类:连续型与离散型
A random variable X is a variable with its value depending on its probability P(x) or Prob(X=x), i.e. theprobability of X having value of x. Probabilities are always nonnegative.
随机变量 X 是一种其取值取决于其概率 P(x) 或 P(X=x) 的变量,即 X 取值为 x 的概率。概率始终为非负数。
\[\text{continuous }\int P(x)dx=1\quad P(x)\to0;\mathrm{while~}P(x_l{<}x{<}x_2)\mathrm{~usually}\neq0
\]
\[\begin{aligned}\mathrm{discrete}&\sum_{k=1}^NP(x_k)=1&P(x_k)\mathrm{~usually}\neq0\\&\mathrm{while~}x_k\in\{x_1,x_2,\ldots x_N\}\end{aligned}
\]
其分布密度(Distribution/density)
cumulative distribution function (cdf):
\[连续:F(x_0)=\int_{-\infty}^{x_0}P(x)dx,离散(重点):F(x_0)=P(x<x_0)=\sum_{x_k<x_0}P(x_k)
\]
probability distribution function (pdf):
\[连续p(x_0)=\frac{dF(x)}{dx}|_{x=x_n},离散:p(x_k)\mathrm{~or~}P(x_k)
\]
期望值/统计均值
\[\text{continuous}E\{X\}=\mu_x=\int xp(x)dx
\]
\[\mathrm{discrete}E\{X\}=\mu_x=\sum_{k=1}^Nx_kP(x_k)
\]
\[\text{Statistical mean:}\bar{x}=\mu_x=\frac{1}{N}\sum_{k=1}^Nx_k,假设每一个x出现的概率相等1/N,期望就退化成了简单的算术平均值
\]
方差
\[\text{continuous }E\{(X-\mu_x)^2\}=\sigma_x^2=\int(x-\mu_x)^2p(x)dx
\]
\[\mathrm{discrete~}\sigma_x^2=\sum_{k=1}^N(x_k-\mu_x)^2P(x_k)
\]
\[\begin{aligned}&\text{Statistical variance:}\\&\sigma_x^2=\frac{1}{N-1}\sum_{k=1}^N(xk-\mu_x)^2\end{aligned}(自由度校正N-1,大致理解为n个数之间的间距是n-1)
\]
协方差
Covariance of two variables X and Y
\[连续~Cov(X,Y)=E\{(X-\mu_x)(Y-\mu_y)\}=\iint(x-\mu_x)(y-\mu_y)p(x,y)dxdy=E\{XY\}-E\{X\}E\{Y\}
\]
\[\mathrm{离散~}Cov(X,Y)=\frac{1}{N}\sum_{k=1}^N(x_k-\mu_x)(y_k-\mu_y)P_k
\]
\[\begin{aligned}&\text{统计协方差}\\&\sigma_{xy}^2=\frac{1}{N-1}\sum_{k=1}^N(xk-\bar{x})(y_k-\bar{y})\end{aligned}
\]
向量变量 x 的协方差矩阵
\[\text{For example: }\quad\mathbf{x}=\begin{bmatrix}x_1\\x_2\end{bmatrix}
\]
上一轮的“方差”推广到了多维数据,引入了协方差矩阵(Covariance Matrix)。它用来描述多个变量各自的波动程度,以及它们之间的关联方向。
\[\begin{aligned}&\text{Covariance matrix:}\\&Cov(\mathbf{x})=\frac{1}{N-1}\sum_{k=1}^N(\mathbf{x}_k-\bar{\mathbf{x}})(\mathbf{x}_k-\bar{\mathbf{x}})^\mathrm{T}\end{aligned}
\]
-
\(\mathbf{x}_k\) 与 \(\bar{\mathbf{x}}\): 这里 \(\mathbf{x}\) 是向量(如图例 \(\mathbf{x}=[x_1,x_2]^T\))。\(\mathbf{x}_k\) 是第 \(k\) 个样本点(包含 \(x_1,x_2\) 两个值),\(\bar{\mathbf{x}}\) 是样本均值向量。
-
偏离向量: \((\mathbf{x}_k-\bar{\mathbf{x}})\) 是一个列向量,表示这个样本偏离均值的程度。
-
外积与转置: 乘以自身的转置 \((\mathbf{x}_k-\bar{\mathbf{x}})(\mathbf{x}_k-\bar{\mathbf{x}})^T\),会生成一个矩阵(类似方差的平方被扩展为两两变量的乘积)。
-
\(N-1\): 贝塞尔校正,为了无偏估计,除以自由度 \(N-1\)。
-
本质: 如果把矩阵对角线单独拿出来看,它就是各个维度自己的“方差”;非对角线就是“协方差”。
下方三个散点图展示了 \(x_1\) 和 \(x_2\) 的关系,对应三个 \(2\times2\) 矩阵 \(C\):
对角线分布代表x1和x2的方差;非对角线一定对称(协方差的定义),所以非对角线代表两者的关系

左图(正协方差 Positive Covariance):
散点呈“/”状上升。\(x_1\) 变大时,\(x_2\) 也倾向变大(同向变化)
\[C=
\begin{bmatrix}
4 & 3\\
3 & 4
\end{bmatrix}
\]
对角线 \(4\) 是方差(波动大);非对角线 \(3\) 是正数,代表正相关
中图(负协方差 Negative Covariance):
散点呈“\”状下降。\(x_1\) 变大时,\(x_2\) 倾向变小(反向变化)
\[C=
\begin{bmatrix}
4 & -3\\
-3 & 4
\end{bmatrix}
\]
非对角线 \(-3\) 是负数,代表负相关
右图(零协方差 Zero Covariance):
散点呈圆形/无方向团状,\(x_1\) 和 \(x_2\) 之间没有明显的线性关系
\[C=
\begin{bmatrix}
4 & 0\\
0 & 4
\end{bmatrix}
\]
非对角线元素为 \(0\)(零协方差),矩阵为对角矩阵。说明两个变量没有线性相关关系,只有各自方差为 4。
图里的“方差”(对角线上的 4)决定了数据云团有多大、多分散;而非对角线的“协方差”决定了这个云团往哪个方向倾斜(正相关、负相关还是不相关)。
k-th moment/k-th central moment(K阶矩)
第 k 阶原点矩:
\[E[X^k]=\mu_k=\int x^kp(x)dx,例如k=1:E[X],即随机变量的均值。
\]
\[离散型随机变量,应改为求和:E[X^k]=\sum_ix_i^kp(x_i)
\]
第 k 阶中心矩:
\[E[(X-\mu_X)^k]=\int(x-\mu_X)^kp(x)dx
\]
\[Skewness(偏度):\frac{\mu_3}{\sigma^3}
\]
偏度描述分布是否左右对称:
- 等于 0:基本对称。
- 大于 0:右偏,右侧尾部更长。
- 小于 0:左偏,左侧尾部更长。
\[峰度(Kurtosis,归一化):\mathrm{Kurtosis}=\frac{\mu_4}{\sigma^4}-3;减去 3 是为了让正态分布的峰度等于 0
\]
峰度大于 0:中心更尖、尾部更重,更容易出现极端值,例如 Laplace 分布
峰度等于 0:与正态分布的尾部厚度相当
峰度小于 0:中心较平、尾部较轻,例如均匀分布
在实践中,获取的数据值通常包含一个恒定或确定性部分和一个随机部分。
概率与分布示例
Gaussian/normal distribution
\[X\thicksim\mathcal{N}(\mu_x,\sigma_x)
\]
\[p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu_x)^2}{2\sigma^2}}
\]
Normal distribution (pdf) with μ=0 and σ=1
伯努利分布和二项分布
伯努利试验只有两个可能结果x=1成功,x=0失败:
\[p=P(X=1),\quad q=1-p=P(X=0)
\]
概率质量函数为:
\[P(X=x)=p^x(1-p)^{1-x},\quad x\in\{0,1\}
\]
伯努利分布的均值和方差为:
\[\mu=E[X]=p
\]
\[\sigma^{2}=\mathrm{Var}(X)=p(1-p)=pq
\]
Binomial distribution(二项分布)
如果进行 \(n\) 次独立的伯努利试验,每次成功的概率都是 \(p\),令:X为n次试验中成功的次数
\[X\sim\mathrm{Binomial}(n,p)
\]
\[概率质量函数:P(X=x)=\binom{n}{x}p^x(1-p)^{n-x},\quad x=0,1,\ldots,n
\]
代表在总共 n 次独立试验(比如抛硬币 n次)中,恰好选出 x次“成功”的排列方式总数。
二项分布的均值和方差为:
\[\mu=E[X]=np
\]
\[\sigma^{2}=\mathrm{Var}(X)=np(1-p)=npq
\]
Joint Probability/Distribution(联合概率/分布)
Joint probability of X and Y
对连续型二维随机变量 (X,Y),其联合概率密度为 p(x,y)
事件 “(X,Y)落在区域 A” 的概率:
\[P((X,Y)\in A)=\iint_Ap(x,y)dxdy
\]
全空间积分为 1(归一化):
\[\iint_{-\infty}^\infty p(x,y)dxdy=1
\]
边缘密度(Marginal densities)
对其中一个变量“积分掉”另一个变量,得到单个变量的分布:
\[p_{X}(x)=\int_{-\infty}^{\infty}p(x,y)dy
\]
\[p_{Y}(y)=\int_{-\infty}^{\infty}p(x,y)dx
\]
独立 ⇒联合密度 = 边缘密度相乘
\[p_{X,Y}(x,y)=p_X(x)\cdotp_Y(y)
\]
随机过程(与确定性函数相对):
随机过程 X(t) 或 X[n] 是一个随时间变化的随机变量,或是一个随时间变化的随机变量集合/系综。
在任意时刻 t 或 n,随机过程 x(t) 或 x[n] 是一个随机变量,并给出一个实现值。每个这样的集合称为一个集合或样本函数
每一次的随机过程都不确定,当一次随机过程进行完毕后观察到的值就是样本函数。
梯度下降法与随机梯度下降法
Gradient descent
优化问题:寻找 w 使得函数 f(w,n) 达到最小值(或最大值)的解 w
横轴是参数 w,纵轴是函数值 f(w)(一条有“谷底”的曲线)。
- 当前点在 wn,该点切线斜率(梯度 ∇f(wn))为负(左高右低向下坡)
- 因为公式是 减去 梯度,负梯度方向指向右(朝谷底),于是 wn+1向右移动,函数值下降
- 反复迭代就滚到谷底(最小值点)
\[迭代更新公式:\mathbf{w}_{n+1}=\mathbf{w}_n-\alpha\nabla f(\mathbf{w}_n)
\]
α>0:学习率 / 步长(step size),控制每一步走多大
∇f(wn):在当前点的梯度(导数/偏导数向量)
循环条件:直到梯度接近 0(到达极值点/谷底),即 ∇f(wn)≈0
梯度是函数增长的最快方向,所以求最小值,是减去梯度
\[\mathrm{Examples:~Find~solution~of~4^x+6^x=9^x.}
\]
Vector gradient
If parameter w is a vector of p elements:
\[\mathbf{w}=\begin{bmatrix}w[0],w[1],...,w[p-1]\end{bmatrix}^T
\]
\[\nabla f(\mathbf{w})\equiv\frac{\partial f(\mathbf{w})}{\partial\mathbf{w}}=\begin{bmatrix}\frac{\partial f(\mathbf{w})}{\partial w[0]}\\\frac{\partial f(\mathbf{w})}{\partial w[1]}\\\vdots\\\frac{\partial f(\mathbf{w})}{\partial w[p-1]}\end{bmatrix}
\]
Example: consider the function of an inner product:
\[f(\mathbf{w})=\sum_{k=0}^{p-1}a_kw[k]=\mathbf{a}^T\mathbf{w}
\]
\[\nabla f(\mathbf{w})=\frac{\partial f(\mathbf{w})}{\partial\mathbf{w}}=\begin{bmatrix}\frac{\partial f(\mathbf{w})}{\partial w[0]}\\\frac{\partial f(\mathbf{w})}{\partial w[1]}\\\vdots\\\frac{\partial f(\mathbf{w})}{\partial w[p-1]}\end{bmatrix}=\begin{bmatrix}a_0\\a_1\\\vdots\\a_{p-1}\end{bmatrix}=\mathbf{a}
\]
Matrix gradient
If parameter W is a matrix of pxp elements:
\[\mathbf{W}=\begin{bmatrix}w[0,0]&\cdots&w[0,p-1]\\\vdots&\cdots&\vdots\\w[p-1,0]&\cdots&w[p-1,p-1]\end{bmatrix}
\]
\[\nabla f(\mathbf{W})\equiv\frac{\partial f(\mathbf{W})}{\partial\mathbf{W}}=\begin{bmatrix}\frac{\partial f(\mathbf{w})}{\partial w[0,0]}&\cdots&\frac{\partial f(\mathbf{w})}{\partial w[0,p-1]}\\\vdots&\cdots&\vdots\\\frac{\partial f(\mathbf{w})}{\partial w[p-1,0]}&\cdots&\frac{\partial f(\mathbf{w})}{\partial w[p-1,p-1]}\end{bmatrix}
\]
梯度中的每一个分量,都可能同时依赖所有变量;要完整描述梯度如何变化,就必须让梯度的每个分量分别对每个变量再求导
2nd-order vector gradient (Hessian matrix)
If parameter w is a vector of p elements:
\[\mathbf{w}=\begin{bmatrix}w[0],w[1],...,w[p-1]\end{bmatrix}^T
\]
\[\nabla^2f(\mathbf{w})\equiv\frac{\partial^2f(\mathbf{w})}{\partial\mathbf{w}^2}=\begin{bmatrix}\frac{\partial^2f(\mathbf{w})}{\partial w[0]^2}&\cdots&\frac{\partial^2f(\mathbf{w})}{\partial w[0]w[p-1]}\\\vdots&\cdots&\vdots\\\frac{\partial^2f(\mathbf{w})}{\partial w[p-1]w[0]}&\cdots&\frac{\partial^2f(\mathbf{w})}{\partial w[p-1]w[p-1]}\end{bmatrix}
\]
Example: consider a quadratic function:
\[f(\mathbf{w})=\mathbf{w}^T\mathbf{A}\mathbf{w}=\sum_{i=0}^{p-1}\sum_{j=0}^{p-1}w[i]w[j]a_{ij}
\]
\[\nabla^2f(\mathbf{w})\equiv\frac{\partial^2\mathbf{w}^T\mathbf{A}\mathbf{w}}{\partial\mathbf{w}^2}=\begin{bmatrix}2a_{0,0}&\cdots&a_{0,p-1}+a_{p-1,0}\\\vdots&\cdots&\vdots\\a_{p-1,0}+a_{0,p-1}&\cdots&2a_{p-1,p-1}\end{bmatrix}
\]
\[\nabla^2f=\mathbf{A}+\mathbf{A}^T
\]
这个证明过程可以参考AI,本质是:第一次对于wk求导只有i或者j等于k时结果不为0(固定了第一个变量);第二次对于wl求导,当j或者i等于l时才不为0(固定了第二个变量).
二阶优化
多变量牛顿法(Newton’s method),红圈标出的逆 Hessian 矩阵相当于根据局部曲率自动调整的“最优步长”。
随机梯度下降SGD
若待优化的函数为均值函数:
\[E\{f(\mathbf{w},n)\}
\]
简单理解:普通梯度下降每次用“全部数据”计算梯度;SGD 每次只用“一个随机样本”估计梯度。
普通梯度下降相当于把所有样本的梯度加权平均起来,计算量通常很大;SGD 不计算这个完整积分,而是随机抽取一个样本,直接计算它自己的梯度:
\[\nabla_\mathbf{w}f(\mathbf{w},x_i)
\]
然后用这个样本梯度更新参数,那么,最陡下降法则变为::
\[\mathbf{w}_{n+1}=\mathbf{w}_n-\mu\nabla E\{f(\mathbf{w}_n)\}\mathbf=\mathbf{w}_n-\mu\nabla_\mathbf{w}f(\mathbf{w}_n,x_n),\mu 是学习率
\]
这种梯度叫瞬时梯度或随机梯度。虽然单个样本的梯度可能不准确,但它的期望等于真实梯度:
\[E\left[\nabla f(\mathbf{w},X)\right]=\nabla E[f(\mathbf{w},X)]
\]
一个简单例子就能帮助理解,假设有1000个身高不一样的人,普通梯度优化会计算所有的样本,一个一个算,算完后梯度汇总更新一次,重复很多轮(迭代),一直到得到最优结果为止;随机梯度会随机、等概率的抽一个人进行计算然后更新梯度,一直抽,长期循环之后得到的结果非常接近普通梯度优化:因为数学期望两者是相同的:随机梯度的数学期望等于全体样本的平均梯度
| 方法 |
每次使用的数据 |
梯度特点 |
| 梯度下降 |
全部数据 |
准确,但慢 |
| SGD |
一个随机样本 |
快,但有噪声 |
| mini-batch SGD |
一小批样本 |
在速度和稳定性之间折中 |
最小二乘法 Least Squares Method
To fit an underlying “line” to the data
为数据拟合一条基础“直线”
每个样本可以写成:(xi, yi),也就是说每个点对应一个样本
假设一条直线,使用该直线来表示预测关系,图中的直线就是拟合出来的回归线
\[\hat{y}_i=wx_i+b
\]
残差(fitting error):代表预测值和实际值之间的误差
\[e_i=y_i-\hat{y}_i,或者e_i=y_i-(wx_i+b)
\]
最小二乘法选择 \(w,b\),使所有残差平方和最小,因此叫“最小二乘”:
\[L(w,b)=\sum_{i=1}^N\left[y_i-(wx_i+b)\right]^2
\]
[不使用平方,正负误差可能互相抵消。例如一个点高 10,另一个点低 10,加起来是 0,但实际误差很大;所有误差都变成非负数,而且较大的误差会受到更重的惩罚。不过也因此,离群点对拟合结果影响较大。]
最优拟合直线,其最小二乘解为:
\[w=\frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sum_i(x_i-\bar{x})^2}~~~~~~~~b=\bar{y}-w\bar{x}
\]
\[\text{其中 }\bar{x},\bar{y}\text{ 分别是 }x\text{ 和 }y\text{ 的平均值}
\]
Principal Component Analysis 主成分分析
PCA 是一种线性降维方法:把原来很多相关的变量,转换成少数几个彼此正交、方差最大的新变量
旨在寻找一组“新”变量或“隐藏”变量/方向,{qk}这些新变量彼此正交,并能捕捉最大的方差;随后将数据投影到这些变量上;以及(最优地)降低数据维度
比如有很多二维数据点,它们大致沿一条斜线分布。PCA 会找到数据变化最大的方向,然后只保留这个方向,把二维数据压缩成一维
PCA 寻找一组方向向量:
\[\mathbf{q}_1,\mathbf{q}_2,\ldots,\mathbf{q}_n
\]
每个 (qj) 是一个长度等于特征数的向量
把原始样本 x 投影到方向 \(qj\) 上
\[z_j=\mathbf{q}_j^T\mathbf{x}
\]
\[得到的新变量 z_j就是第 j个主成分;q_j类似于一个权重系数
\]
PCA 可以看成坐标变换:
\[\mathbf{x}=[x_1,x_2,\ldots,x_n]\quad\longrightarrow\quad\mathbf{z}=[z_1,z_2,\ldots,z_m]
\]
PCA 希望新变量保留尽可能多的信息,而这里用方差衡量信息量
最优线性坐标变换与投影
散点与均值(数据本体)
- 蓝色空心圆圈:二维原始数据点,横轴 x1、纵轴 x2。它们呈现明显的斜向分布。
- m:数据的均值向量(中心点)。PCA 第一步通常是“中心化”,即把坐标原点平移到 m,让数据围绕 0 点分布。
主轴 q1(第一主成分)
- 红色实线 q1:穿过均值、拟合数据最长方向的线。
- 它是“最优投影方向”:如果把所有蓝点垂直投影到这条线上,投影后的数据方差最大(保留的信息最多)。在降维时,这通常是我们保留的第一个维度。
次轴 q2(第二主成分)
- 绿色实线 q2:与 q1正交(垂直)的线。
- 它是方差第二大的方向。在原二维空间中,q1和 q2构成了一组新的正交坐标系(即标题说的坐标变换)。
图里画的就是 PCA 为斜向数据找到了新的“最长/最短”坐标轴(q1,q2),从而实现最优投影与降维。
看完例子后再回来总结这个PCA的逻辑(上图是二维的,扩展到n维也会成立,便于理解,我们选择二维图像):
最大方差(找方向 qi,让数据投影后的方差最大。C是协方差矩阵;对应上一张图里找“最长轴” q1。):
\[\max\{\mathbf{q}_i^T\mathbf{C}\mathbf{q}_i=\sigma_i^2\},\mathbf{q}_i\perp\mathbf{q}_j,i\neq j
\]
\[\mathbf{C}=E[\mathbf{x}\mathbf{x}^T],{q_j}就是这个矩阵的正交特征向量
\]
此外,qi只是方向,不让其数值影响方差,我们规定其模长为1;两个主成分不能相互影响,所以必须正交(向量内积为0):
\[\|\mathbf{q}_i\|=1,\quad\mathbf{q}_i^T\mathbf{q}_j=0
\]
最小化重构误差用(前 m个方向重建数据,让“原始点”和“重建点”的距离误差最小。降维就是保留 m个(m≤n),扔掉后面的):
\[\min\sum_X\parallel\mathbf{x}-\sum_{j=1}^m(\mathbf{q}_j^T\mathbf{x})\mathbf{q}_j\parallel^2
\]
PCA = 中心化后,对协方差矩阵做特征分解,按特征值大小排序,取前m个特征向量作为新轴降维,把数据投影到这些方向上,就得到降维后的坐标;保留最大的特征值对应方向,可以最大化投影方差,同时使重构误差最小
PCA 通过线性代数(特征分解)直接解析求出了最优投影方向
PCA 通过特征分解或者SVD可以得到闭式解