机械学习(二)- 聚类与分类
机械学习- 聚类与分类
数据科学、机器学习和聚类分析中非常核心的“(不)相似度度量”(即计算两个数据点之间“距离”或“差异”的方法),它等同于“邻近度与距离度量”。
欧几里得距离(Euclidean distance)
- 公式含义:\(dis(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\| = \sqrt{\sum_i (x_i - y_i)^2}\)。这是最符合人类直觉的“直线距离”(即勾股定理在高维的推广)。图中还给出了它的矩阵形式 \(\sqrt{(\mathbf{x} - \mathbf{y})^T (\mathbf{x} - \mathbf{y})}\),并注明 \(\mathbf{x}\) 和 \(\mathbf{y}\) 是列向量。
- 通俗理解:就像空间中两点之间拉一条直尺的长度。
闵可夫斯基距离(Minkowski distance)
-
公式
\[dis_{Mink}(\mathbf{x},\mathbf{y})=\left[\sum_i|x_i-y_i|^\lambda\right]^{1/\lambda} \]它是一个通用公式通过改变参数 \(\lambda\) 的值,可以衍生出下面几种经典距离:
- 当 \(\lambda = 1\) 时(L1 范数):变成曼哈顿距离(Manhattan / city-block / taxicab 距离)。想象在纽约曼哈顿横平竖直的街道里,出租车只能拐直角弯行驶的实际路程,不能走对角线。
- 当 \(\lambda = 2\) 时:其实就是上面的欧几里得距离(L2 范数)。
- 当 \(\lambda \to \infty\) 时(L∞ 范数):变成切比雪夫距离(Chebyshev distance)。它的计算方式是取各个维度坐标差值绝对值的最大值,即 \(\max(|x_1-y_1|, |x_2-y_2|, ...)\),类似国际象棋中“王”走一步的棋盘距离。
距离衡量的是“隔得多远”,相关性衡量的是“走势多同步”(比如股票同涨同跌)
三种度量方式:
连续相关(Correlation – continuous)
这是信号处理中常见的互相关函数。它衡量两个连续时间信号 \(x(t)\) 和 \(y(t)\) 在“错开 \(\tau\) 时间”时的相似程度。
离散相关(Correlation – discrete)
含义:现实数据通常是离散的点(列向量),这个公式就是连续相关的“离散版”,错开 \(k\) 个位置后相乘再累加。
皮尔逊相关系数(Pearson's Correlation Coefficient):
这是统计学里最经典的相似度指标(取值 -1 到 1)。
- \(m_x, m_y\) 是平均值,\(\sigma\) 是标准差。
- 它先让数据“减去平均值”(中心化),再算协方差并标准化。
- 通俗理解:如果 \(\rho=1\) 表示完美正相关(你涨我也涨),\(-1\) 表示完美负相关(你涨我跌),\(0\) 表示没啥关系。距离看“数值差”,皮尔逊看“趋势同”。
点积 / 内积(Dot/inner product)
-
公式:\(\mathbf{x} \bullet \mathbf{y} = \mathbf{x}^T \mathbf{y} = <\mathbf{x}, \mathbf{y}>\)
-
含义:这是向量最基础的运算:对应位置相乘,再全部加起来。
-
关联:相关性和距离的计算,底层往往都依赖内积。几何上,内积等于“长度乘积 × 夹角余弦”。夹角越小(方向越一致),内积越大,说明越相似。
-
上轮(距离):欧氏、曼哈顿,值越大越不相似(离得远)。
-
本轮(相关/内积):皮尔逊、内积,值越大越相似(趋势同、方向像)。相关运算常通过“滑动错开”来寻找信号间的延迟对齐。
K-均值聚类算法/K-means Clustering
- 无监督学习(Unsupervised learning):不像老师上课有标准答案(标签),算法面对一堆数据,不知道“真实类别”,全靠数据自身的相似性来分组。
- 预先指定 K 值(a priori):“K”就是你要分几个堆(簇)。通常在算法开始前,人得先告诉它 K 是多少。
- 找“自然结构”:目标是让算法自己发现数据里天然抱团的模式(比如把客户自动分成高/中/低消费群)。
算法步骤(核心:近邻+迭代)
这里把 K-means 称为“最近邻聚类”,因为它依赖前几轮讲的距离。假设我们要把数据分成 \(k\) 个簇,步骤如下:
- Step 0:初始化原型(选“中心点”)
随机选 \(k\) 个点作为初始的“簇中心”(叫原型 \(\mathbf{m}_1...\mathbf{m}_k\)),或者随机选 \(k\) 个真实数据点当中心。 - Step 1:分配类别(谁离我近归谁)
对每个数据点 \(\mathbf{x}_i\),计算它到这 \(k\) 个中心的距离 \(d_{ij}\)。
公式 \(v = \arg\min_j(d_{ij})\) 意思是:找距离最小的那个中心,把这个点归到那个簇(\(\Omega_v\))里。这就是“最近邻”的体现。 - Step 2:更新原型(重新算“重心”)
分完堆后,每个簇里所有点的“平均值”算出来,作为新的簇中心 \(\mathbf{m}_i = \text{mean}\{\Omega_i\}\)。 - Step 3:循环直到收敛
如果新中心和旧中心没变化(或变化极小),说明“分堆”稳定了,停止;否则回到 Step 1 重新分配,不断迭代。
聚类正确性 Cluster Validity
聚类有效性(Cluster Validity)核心目的是解决:如果事先不知道该分几个堆(K值未知),怎么科学地把 K 定下来?
结合之前学过的“距离”和“K-means”,这里给出了一个经典的评估方法(MSE 误差法)。
- 核心矛盾:K 值未知
虽然 K-means 通常需要预先指定 K,但实际中往往不知道真实有几类(not known a priori)。因此需要“验证过程”来客观选择。
- 总误差公式(误差 = 距离平方和)
公式:\(\varepsilon_k = \sum_{v=1}^k \sum_{\forall i, \mathbf{x}_i \in \Omega_v} \|\mathbf{m}_v - \mathbf{x}_i\|^2\)
- 含义:这是计算当前 K 值下的总聚类误差(类似均方误差 MSE)。
- 拆解:\(\|\mathbf{m}_v - \mathbf{x}_i\|^2\) 就是你之前学的欧氏距离的平方(簇中心 \(\mathbf{m}_v\) 到簇内每个点 \(\mathbf{x}_i\) 的距离)。外层求和把所有簇、所有点的“距离平方”加在一起。
- 图表:肘部法则(Elbow Method)
图表横轴是 K(分几类),纵轴是误差 \(\varepsilon\)。
- 必然趋势:K 越大,误差越小。如果 K=N(每个点自己一类),误差直接为 0。但这没意义(过拟合)。
- 拐点(红圈处 c):曲线先急剧下降,到 c 处变平缓(像人的手肘,“肘部法则”)。这个拐点通常被认为是最优 K 值——再增加 K,误差下降不明显,说明天然结构就是 c 个簇。
分级群聚,分层群聚 Hierarchical Clustering
层次聚类(Hierarchical Clustering),具体是“自底向上”的凝聚式(Agglomerative)。上一轮的 K-means 是“先定几个堆再分”,那层次聚类就是“从每个点自己一堆,慢慢抱团合并,最后成一棵大树”。
先算好所有点两两之间的距离矩阵(最早学的欧氏/曼哈顿距离):
- Step 1:每个点自己是一个簇(N个点 = N个簇)。
- Step 2:找距离最近的两个簇,合并成一个。
- Step 3:计算“新簇”和“剩下簇”的距离。
- Step 4:重复 2、3,直到所有点合并成一个大簇。
Clustering Applications

大米图(P20):原图是黑白的大米。通过聚类(如二值化/K-means),将“米粒(白)”和“背景(黑)”分开,得到右侧的分割图,常用于农业颗粒计数。



-
原图(上):黑白人像,包含帽子、头发、面部、背景,灰度层次丰富
-
分割图(下):算法将相似灰度像素合并,画面变为高对比黑白/少数灰度块。帽子边缘、面部轮廓被保留但呈“色块化”,细节(如发丝)因聚类简化而丢失,突出主体结构
-
原图(上):建筑、道路、植被、水体(暗区)灰度各异
-
分割图(下):聚为深黑(水体/阴影)、中灰(植被/道路)、浅灰/白(建筑)等区块。水体与建筑边界清晰,但道路等复杂纹理被简化为色块,体现“按灰度归类”特性
-
多峰分布:直方图横轴为灰度值(0-255),纵轴为像素数量。曲线呈现多个明显波峰(如灰度 50、100、150 附近),代表图像中存在几类主导灰度(如暗部、中间调、亮部)
-
从256到15:原图有 256 级灰度(Original Points),聚类算法将其压缩为少量类别(Evolved Points: 15,即聚为 15 个灰度簇,其实就是波峰波谷各算一次,红线数出来就是15)波峰位置常作为聚类中心初始参考,实现“按亮度找同类”
混合密度模型(Mixture Density Models)
核心思想:数据是由多个“分布”混合生成的
所有样本来自已知数量的簇,每个簇遵循某种已知分布(如高斯分布)
- 回顾上一张直方图(256级灰度→15个簇):之前用 K-means 是“硬分类”(像素非黑即白);而混合模型认为,图像的像素灰度是15个高斯分布(波峰及周围)按不同权重叠加的结果
公式 \(p(\mathbf{x}|\boldsymbol{\theta}) = \sum_{j=1}^{c} p_j(\mathbf{x}|\boldsymbol{\theta}_j)P_j\) 是混合模型的灵魂:
- \(c\):簇的总数(对应上图直方图中的宏观波峰+次峰,或最终设定的15个类别)
- \(P_j\):先验概率。表示第 \(j\) 个簇在整个图像中占的比例(比如“背景暗部”占总像素的 30%)
- \(p_j(\mathbf{x}|\boldsymbol{\theta}_j)\):类条件概率密度(如高斯分布)。表示在第 \(j\) 个簇里,出现某个特定灰度值的概率
- 整体含义:总概率密度 = 各个子分布的概率密度 × 该子分布的权重,然后求和
具有生成性(generative nature):
- 泛化与建模:不仅告诉你是哪一类(像 K-means),还告诉你“属于这一类的概率有多大”(软分类/后验概率)
- 生成/合成数据:因为模型学到了每个簇的分布参数(均值、方差),可以反过来从高斯分布中采样生成新数据。例如学习了上张人像的15个灰度分布,就能“生成”一张类似灰度风格的新图
高斯混合模型
其中,uj 表示第 j 类密度分布的均值向量,Σj 表示第 j 类密度分布的协方差矩阵,d 表示 x 的维度。
最大似然估计:找到参数 \(\theta\),使得当前观测到的所有数据(如图像所有像素)出现的“概率(似然)”最大。
当混合模型的任何参数未知时,可以通过最大似然法从一组样本 D={x1 ,x2 ,...,xN } 中估计这些参数。似然函数为:
然后对似然函数取对数(乘积不方便求导,也容易数值下溢,所以取对数,并且对数函数是单增的),并对待求解的参数进行偏导运算,从而得到解(因为有不同的簇,所以一个一个簇进行判断,因为是求最优点,所以求导是为了找出最优点的位置)
意义:梯度更新不再依赖“硬分类”,而是依赖软归属(后验概率)。即:每个像素属于第 \(i\) 个簇的概率有多大,就用这个概率去加权更新参数。例如后验概率是 \(0.8\),就表示这个样本有 80% 的归属权重给第 \(i\) 个簇。
- 先验概率 P(A):还没看样本之前,随机取一个数据点,它来自 A 的概率。
- 似然 p(x|A):如果它来自 A,那么在位置 \(x\) 出现这样数据的可能性有多大。
- 后验概率 P(A|x):已经看到了这个点位于 \(x\),判断它来自 A 的概率。
简化场景(Case 1:仅均值未知)
- 假设:高斯混合模型中,只有各簇的均值 \(\mu_i\) 未知,先验权重 \(P_i\) 和方差(宽度 \(\Sigma_i\))已知。
- 结果:通过令梯度为 0,推导出均值的极大似然估计公式:
\(\hat{\boldsymbol{\mu}}_i = \frac{\sum \text{后验概率} \times \text{数据点}}{\sum \text{后验概率}}\) - 直观理解:新的均值 = 所有数据的加权平均,权重就是该数据属于第 \(i\) 簇的“后验概率”
-
\[\hat{\mu}_i:第 \\(i\\) 个簇的新中心。 \]
-
\[P(i\mid x_k,\theta):第 \\(k\\) 个点属于第 \\(i\\) 个簇的可能性,也就是权重。 \]
- 分母:把所有权重加起来,用来做归一化。
计算中心的方法仍然都是加权平均,只是 K-means 的权重只能是 0 或 1,而高斯混合模型的权重可以是 0 到 1 之间的小数。
核心场景(Case 2:EM 算法,全参数未知)
- 每个簇的中心ui不知道;
- 每个簇的宽度或形状Σj不知道;
- 每个簇占多少比例Pi也不知道。
- 想算中心,需要知道每个点属于哪个簇;
- 但想知道每个点属于哪个簇,又需要先知道各个簇的中心和形状
EM 的办法是(科学家不说猜):
先随便猜一组参数,然后“先判断,再更新;再判断,再更新”。
当先验、均值、方差全部未知时(最符合实际,如直方图所有峰的位置、高度、宽度都要算),直接求导无法得到解析解,必须用 EM(期望-最大化)算法迭代求解。
E 步:判断每个点有多像属于各个簇。M 步:根据这些判断,重新计算每个簇的权重、中心和宽度。然后不断重复。
-
E步(期望):计算后验概率 \(P^t(i|\mathbf{x}, \boldsymbol{\theta}^t)\)。即给定当前参数,算每个数据点属于各簇的概率(软分配)
-
M步(最大化)
:用算出的后验概率,更新三个参数:
\(P_i^{t+1}\):第 \(i\) 簇的权重 = 所有样本归属该簇的平均概率。
\[P_i^{t+1}=\frac{1}{N}\sum_{k=1}^NP^t(i|\boldsymbol{x}_k,\boldsymbol{\theta}^t) \]\(\boldsymbol{\mu}_i^{t+1}\):新均值 = 概率加权的平均
\[\mathbf{\mu}_i^{t+1}=\frac{\sum_{k=1}^NP^t(i|\boldsymbol{x}_k,\boldsymbol{\theta}^t)\mathbf{x}_i}{\sum_{k=1}^NP(i|\boldsymbol{x}_k,\boldsymbol{\theta}^t)} \]\(\boldsymbol{\Sigma}_i^{t+1}\):新方差 = 概率加权的离差(协方差矩阵)
\[\boldsymbol{\Sigma}_i^{t+1}=\frac{\sum_{k=1}^NP^t(i|\boldsymbol{x}_k,\boldsymbol{\theta}^t)\begin{bmatrix}\mathbf{x}_k-\boldsymbol{\theta}_i^t\end{bmatrix}\begin{bmatrix}\mathbf{x}_k-\boldsymbol{\theta}_i^t\end{bmatrix}^T}{\sum_{k=1}^NP^t(i|\boldsymbol{x}_k,\boldsymbol{\theta}^t)} \]循环:E步 \(\rightarrow\) M步 \(\rightarrow\) 参数更新 \(\rightarrow\) 再E步... 直到似然收敛,t表示当前这轮迭代,t+1代表下一轮迭代
后验概率:
这个概率Pt表示根据当前模型,第 \(k\) 个点属于第 \(i\) 个簇的可能性
一直迭代后,该过程会趋向于稳定,最后会得到一组训练完成的高斯混合模型参数
假设一开始设定有 \(c=2\) 个簇,EM 最后可能得到:
| 簇 | 权重 \(Pi\) | 均值 \(ui\) | 协方差 \(Σi\) |
|---|---|---|---|
| 簇 1 | 0.60 | 2.0 | 0.5 |
| 簇 2 | 0.40 | 8.0 | 1.5 |
这组参数表示:
- 数据中约 60% 来自簇 1,约 40% 来自簇 2;
- 簇 1 的中心在位置 2.0;
- 簇 1 比较窄;
- 簇 2 的中心在位置 8.0;
- 簇 2 比较宽。

浙公网安备 33010602011771号