机械学习(二)- 聚类与分类

机械学习- 聚类与分类

数据科学、机器学习和聚类分析中非常核心的“(不)相似度度量”(即计算两个数据点之间“距离”或“差异”的方法),它等同于“邻近度与距离度量”。

欧几里得距离(Euclidean distance)

  • 公式含义:\(dis(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\| = \sqrt{\sum_i (x_i - y_i)^2}\)。这是最符合人类直觉的“直线距离”(即勾股定理在高维的推广)。图中还给出了它的矩阵形式 \(\sqrt{(\mathbf{x} - \mathbf{y})^T (\mathbf{x} - \mathbf{y})}\),并注明 \(\mathbf{x}\) 和 \(\mathbf{y}\) 是列向量。
  • 通俗理解:就像空间中两点之间拉一条直尺的长度。

闵可夫斯基距离(Minkowski distance)

  • 公式

    \[dis_{Mink}(\mathbf{x},\mathbf{y})=\left[\sum_i|x_i-y_i|^\lambda\right]^{1/\lambda} \]

    它是一个通用公式通过改变参数 \(\lambda\) 的值,可以衍生出下面几种经典距离:

    • 当 \(\lambda = 1\) 时(L1 范数):变成曼哈顿距离(Manhattan / city-block / taxicab 距离)。想象在纽约曼哈顿横平竖直的街道里,出租车只能拐直角弯行驶的实际路程,不能走对角线。
    • 当 \(\lambda = 2\) 时:其实就是上面的欧几里得距离(L2 范数)。
    • 当 \(\lambda \to \infty\) 时(L∞ 范数):变成切比雪夫距离(Chebyshev distance)。它的计算方式是取各个维度坐标差值绝对值的最大值,即 \(\max(|x_1-y_1|, |x_2-y_2|, ...)\),类似国际象棋中“王”走一步的棋盘距离。

距离衡量的是“隔得多远”,相关性衡量的是“走势多同步”(比如股票同涨同跌)

三种度量方式:

连续相关(Correlation – continuous)

\[r_{xy}(\tau)=\int x(t)y(t-\tau)dt \]

这是信号处理中常见的互相关函数。它衡量两个连续时间信号 \(x(t)\) 和 \(y(t)\) 在“错开 \(\tau\) 时间”时的相似程度。


离散相关(Correlation – discrete)

\[r_{\mathbf{x}y}(k)=\sum_ix_iy_{i-k} \]

含义:现实数据通常是离散的点(列向量),这个公式就是连续相关的“离散版”,错开 \(k\) 个位置后相乘再累加。


皮尔逊相关系数(Pearson's Correlation Coefficient):

\[\rho=\frac{\mathrm{cov}(x,y)}{\sigma_x\sigma_y}=\frac{\sum(x_i-m_x)(y_i-m_y)}{\sigma_x\sigma_y} \]

这是统计学里最经典的相似度指标(取值 -1 到 1)。

  • \(m_x, m_y\) 是平均值,\(\sigma\) 是标准差。
  • 它先让数据“减去平均值”(中心化),再算协方差并标准化。
  • 通俗理解:如果 \(\rho=1\) 表示完美正相关(你涨我也涨),\(-1\) 表示完美负相关(你涨我跌),\(0\) 表示没啥关系。距离看“数值差”,皮尔逊看“趋势同”。

点积 / 内积(Dot/inner product)

  • 公式:\(\mathbf{x} \bullet \mathbf{y} = \mathbf{x}^T \mathbf{y} = <\mathbf{x}, \mathbf{y}>\)

  • 含义:这是向量最基础的运算:对应位置相乘,再全部加起来。

  • 关联:相关性和距离的计算,底层往往都依赖内积。几何上,内积等于“长度乘积 × 夹角余弦”。夹角越小(方向越一致),内积越大,说明越相似。

  • 上轮(距离):欧氏、曼哈顿,值越大越不相似(离得远)。

  • 本轮(相关/内积):皮尔逊、内积,值越大越相似(趋势同、方向像)。相关运算常通过“滑动错开”来寻找信号间的延迟对齐。


K-均值聚类算法/K-means Clustering

  • 无监督学习(Unsupervised learning):不像老师上课有标准答案(标签),算法面对一堆数据,不知道“真实类别”,全靠数据自身的相似性来分组。
  • 预先指定 K 值(a priori):“K”就是你要分几个堆(簇)。通常在算法开始前,人得先告诉它 K 是多少。
  • 找“自然结构”:目标是让算法自己发现数据里天然抱团的模式(比如把客户自动分成高/中/低消费群)。

算法步骤(核心:近邻+迭代)

这里把 K-means 称为“最近邻聚类”,因为它依赖前几轮讲的距离。假设我们要把数据分成 \(k\) 个簇,步骤如下:

  • Step 0:初始化原型(选“中心点”)
    随机选 \(k\) 个点作为初始的“簇中心”(叫原型 \(\mathbf{m}_1...\mathbf{m}_k\)),或者随机选 \(k\) 个真实数据点当中心。
  • Step 1:分配类别(谁离我近归谁)
    对每个数据点 \(\mathbf{x}_i\),计算它到这 \(k\) 个中心的距离 \(d_{ij}\)。
    公式 \(v = \arg\min_j(d_{ij})\) 意思是:找距离最小的那个中心,把这个点归到那个簇(\(\Omega_v\))里。这就是“最近邻”的体现。
  • Step 2:更新原型(重新算“重心”)
    分完堆后,每个簇里所有点的“平均值”算出来,作为新的簇中心 \(\mathbf{m}_i = \text{mean}\{\Omega_i\}\)。
  • Step 3:循环直到收敛
    如果新中心和旧中心没变化(或变化极小),说明“分堆”稳定了,停止;否则回到 Step 1 重新分配,不断迭代。

聚类正确性 Cluster Validity

聚类有效性(Cluster Validity)核心目的是解决:如果事先不知道该分几个堆(K值未知),怎么科学地把 K 定下来?

结合之前学过的“距离”和“K-means”,这里给出了一个经典的评估方法(MSE 误差法)。

  1. 核心矛盾:K 值未知

虽然 K-means 通常需要预先指定 K,但实际中往往不知道真实有几类(not known a priori)。因此需要“验证过程”来客观选择。

  1. 总误差公式(误差 = 距离平方和)

公式:\(\varepsilon_k = \sum_{v=1}^k \sum_{\forall i, \mathbf{x}_i \in \Omega_v} \|\mathbf{m}_v - \mathbf{x}_i\|^2\)

  • 含义:这是计算当前 K 值下的总聚类误差(类似均方误差 MSE)。
  • 拆解:\(\|\mathbf{m}_v - \mathbf{x}_i\|^2\) 就是你之前学的欧氏距离的平方(簇中心 \(\mathbf{m}_v\) 到簇内每个点 \(\mathbf{x}_i\) 的距离)。外层求和把所有簇、所有点的“距离平方”加在一起。
  1. 图表:肘部法则(Elbow Method)

图表横轴是 K(分几类),纵轴是误差 \(\varepsilon\)。

  • 必然趋势:K 越大,误差越小。如果 K=N(每个点自己一类),误差直接为 0。但这没意义(过拟合)。
  • 拐点(红圈处 c):曲线先急剧下降,到 c 处变平缓(像人的手肘,“肘部法则”)。这个拐点通常被认为是最优 K 值——再增加 K,误差下降不明显,说明天然结构就是 c 个簇。

分级群聚,分层群聚 Hierarchical Clustering

层次聚类(Hierarchical Clustering),具体是“自底向上”的凝聚式(Agglomerative)。上一轮的 K-means 是“先定几个堆再分”,那层次聚类就是“从每个点自己一堆,慢慢抱团合并,最后成一棵大树”。

先算好所有点两两之间的距离矩阵(最早学的欧氏/曼哈顿距离):

  • Step 1:每个点自己是一个簇(N个点 = N个簇)。
  • Step 2:找距离最近的两个簇,合并成一个。
  • Step 3:计算“新簇”和“剩下簇”的距离。
  • Step 4:重复 2、3,直到所有点合并成一个大簇。

Clustering Applications

大米图(P20):原图是黑白的大米。通过聚类(如二值化/K-means),将“米粒(白)”和“背景(黑)”分开,得到右侧的分割图,常用于农业颗粒计数。

  • 原图(上):黑白人像,包含帽子、头发、面部、背景,灰度层次丰富

  • 分割图(下):算法将相似灰度像素合并,画面变为高对比黑白/少数灰度块。帽子边缘、面部轮廓被保留但呈“色块化”,细节(如发丝)因聚类简化而丢失,突出主体结构

  • 原图(上):建筑、道路、植被、水体(暗区)灰度各异

  • 分割图(下):聚为深黑(水体/阴影)、中灰(植被/道路)、浅灰/白(建筑)等区块。水体与建筑边界清晰,但道路等复杂纹理被简化为色块,体现“按灰度归类”特性

  • 多峰分布:直方图横轴为灰度值(0-255),纵轴为像素数量。曲线呈现多个明显波峰(如灰度 50、100、150 附近),代表图像中存在几类主导灰度(如暗部、中间调、亮部)

  • 从256到15:原图有 256 级灰度(Original Points),聚类算法将其压缩为少量类别(Evolved Points: 15,即聚为 15 个灰度簇,其实就是波峰波谷各算一次,红线数出来就是15)波峰位置常作为聚类中心初始参考,实现“按亮度找同类”


混合密度模型(Mixture Density Models)

核心思想:数据是由多个“分布”混合生成的

所有样本来自已知数量的簇,每个簇遵循某种已知分布(如高斯分布)

  • 回顾上一张直方图(256级灰度→15个簇):之前用 K-means 是“硬分类”(像素非黑即白);而混合模型认为,图像的像素灰度是15个高斯分布(波峰及周围)按不同权重叠加的结果

公式 \(p(\mathbf{x}|\boldsymbol{\theta}) = \sum_{j=1}^{c} p_j(\mathbf{x}|\boldsymbol{\theta}_j)P_j\) 是混合模型的灵魂:

  • \(c\):簇的总数(对应上图直方图中的宏观波峰+次峰,或最终设定的15个类别)
  • \(P_j\):先验概率。表示第 \(j\) 个簇在整个图像中占的比例(比如“背景暗部”占总像素的 30%)
  • \(p_j(\mathbf{x}|\boldsymbol{\theta}_j)\):类条件概率密度(如高斯分布)。表示在第 \(j\) 个簇里,出现某个特定灰度值的概率
  • 整体含义:总概率密度 = 各个子分布的概率密度 × 该子分布的权重,然后求和

具有生成性(generative nature):

  • 泛化与建模:不仅告诉你是哪一类(像 K-means),还告诉你“属于这一类的概率有多大”(软分类/后验概率)
  • 生成/合成数据:因为模型学到了每个簇的分布参数(均值、方差),可以反过来从高斯分布中采样生成新数据。例如学习了上张人像的15个灰度分布,就能“生成”一张类似灰度风格的新图

高斯混合模型

\[p_j(\mathbf{x}|\mathbf{\theta}_j){\sim}\mathcal{N}(\mathbf{\mu}_j,\Sigma_j) \]

\[p(\mathbf{x}|\mathbf{\theta})=\sum_{j=1}^c\frac{P_j}{(2\pi)^{d/2}\boldsymbol{\Sigma}_j^{1/2}}e^{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu}_j)^T\boldsymbol{\Sigma}_j^{-1}(\mathbf{x}-\mathbf{\mu}_j)} \]

其中,uj 表示第 j 类密度分布的均值向量,Σj 表示第 j 类密度分布的协方差矩阵,d 表示 x 的维度。


最大似然估计:找到参数 \(\theta\),使得当前观测到的所有数据(如图像所有像素)出现的“概率(似然)”最大。

当混合模型的任何参数未知时,可以通过最大似然法从一组样本 D={x1 ,x2 ,...,xN } 中估计这些参数。似然函数为:

\[p(\mathcal{D}|\boldsymbol{\theta})\overset{\mathrm{def}}{\operatorname*{=}}\prod_{k=1}^{N}p(\mathbf{x}_k|\boldsymbol{\theta}) \]

然后对似然函数取对数(乘积不方便求导,也容易数值下溢,所以取对数,并且对数函数是单增的),并对待求解的参数进行偏导运算,从而得到解(因为有不同的簇,所以一个一个簇进行判断,因为是求最优点,所以求导是为了找出最优点的位置)

\[l=\ln[p(\mathcal{D}|\mathbf{\theta})]=\sum_{k=1}^N\ln p(\mathbf{x}_k|\mathbf{\theta}) \]

\[\nabla_{\mathbf{\theta}_{i}}l=\nabla_{\mathbf{\theta}_{i}}[\sum_{k=1}^{N}\ln p(\mathbf{x}_{k}|\mathbf{\theta})]=\sum_{k=1}^{N}\frac{1}{p(\mathbf{x}_{k}|\mathbf{\theta})}\nabla_{\mathbf{\theta}_{i}}\sum_{j=1}^{c}p(\mathbf{x}_{k}|\mathbf{\theta}_{j})Pj=\sum_{k=1}^NP(i|x_k,\mathbf{\theta})\nabla_{\mathbf{\theta}_i}\ln p(\mathbf{x}_k|\mathbf{\theta}_i)P_i \]

\[其中P(i|x_k,\mathbf{\theta})=\frac{p(\mathbf{x}_k|\mathbf{\theta}_i)P_i}{p(\mathbf{x}_k|\mathbf{\theta})}就是后验概率 \]

\[再令\sum_{k=1}^NP(i|\mathbf{x},\mathbf{\theta})\Sigma_i^{-1}(\mathbf{x}_k-\mathbf{\mu}_i)=0,求得最优值 \]

意义:梯度更新不再依赖“硬分类”,而是依赖软归属(后验概率)。即:每个像素属于第 \(i\) 个簇的概率有多大,就用这个概率去加权更新参数。例如后验概率是 \(0.8\),就表示这个样本有 80% 的归属权重给第 \(i\) 个簇。

  • 先验概率 P(A):还没看样本之前,随机取一个数据点,它来自 A 的概率。
  • 似然 p(x|A):如果它来自 A,那么在位置 \(x\) 出现这样数据的可能性有多大。
  • 后验概率 P(A|x):已经看到了这个点位于 \(x\),判断它来自 A 的概率。

\[通过贝叶斯公式联系起来:P(A\mid\mathbf{x})=\frac{P(A)p(\mathbf{x}\mid A)}{P(A)p(\mathbf{x}\mid A)+P(B)p(\mathbf{x}\mid B)} \]


简化场景(Case 1:仅均值未知)

  • 假设:高斯混合模型中,只有各簇的均值 \(\mu_i\) 未知,先验权重 \(P_i\) 和方差(宽度 \(\Sigma_i\))已知。
  • 结果:通过令梯度为 0,推导出均值的极大似然估计公式:
    \(\hat{\boldsymbol{\mu}}_i = \frac{\sum \text{后验概率} \times \text{数据点}}{\sum \text{后验概率}}\)
  • 直观理解:新的均值 = 所有数据的加权平均,权重就是该数据属于第 \(i\) 簇的“后验概率”

\[\widehat{\mathbf{\mu}}_i=\frac{\sum_{k=1}^NP(i|\boldsymbol{x}_k,\boldsymbol{\theta})\mathbf{x}_i}{\sum_{k=1}^NP(i|\boldsymbol{x}_k,\boldsymbol{\theta})} \]

  • \[\hat{\mu}_i:第 \\(i\\) 个簇的新中心。 \]

  • \[P(i\mid x_k,\theta):第 \\(k\\) 个点属于第 \\(i\\) 个簇的可能性,也就是权重。 \]

  • 分母:把所有权重加起来,用来做归一化。

计算中心的方法仍然都是加权平均,只是 K-means 的权重只能是 0 或 1,而高斯混合模型的权重可以是 0 到 1 之间的小数。


核心场景(Case 2:EM 算法,全参数未知)

  • 每个簇的中心ui不知道;
  • 每个簇的宽度或形状Σj不知道;
  • 每个簇占多少比例Pi也不知道。
  1. 想算中心,需要知道每个点属于哪个簇;
  2. 但想知道每个点属于哪个簇,又需要先知道各个簇的中心和形状

EM 的办法是(科学家不说猜):

先随便猜一组参数,然后“先判断,再更新;再判断,再更新”。

当先验、均值、方差全部未知时(最符合实际,如直方图所有峰的位置、高度、宽度都要算),直接求导无法得到解析解,必须用 EM(期望-最大化)算法迭代求解。

E 步:判断每个点有多像属于各个簇。M 步:根据这些判断,重新计算每个簇的权重、中心和宽度。然后不断重复。

  • E步(期望):计算后验概率 \(P^t(i|\mathbf{x}, \boldsymbol{\theta}^t)\)。即给定当前参数,算每个数据点属于各簇的概率(软分配)

  • M步(最大化)

    :用算出的后验概率,更新三个参数:

    \(P_i^{t+1}\):第 \(i\) 簇的权重 = 所有样本归属该簇的平均概率。

    \[P_i^{t+1}=\frac{1}{N}\sum_{k=1}^NP^t(i|\boldsymbol{x}_k,\boldsymbol{\theta}^t) \]

    \(\boldsymbol{\mu}_i^{t+1}\):新均值 = 概率加权的平均

    \[\mathbf{\mu}_i^{t+1}=\frac{\sum_{k=1}^NP^t(i|\boldsymbol{x}_k,\boldsymbol{\theta}^t)\mathbf{x}_i}{\sum_{k=1}^NP(i|\boldsymbol{x}_k,\boldsymbol{\theta}^t)} \]

    \(\boldsymbol{\Sigma}_i^{t+1}\):新方差 = 概率加权的离差(协方差矩阵)

    \[\boldsymbol{\Sigma}_i^{t+1}=\frac{\sum_{k=1}^NP^t(i|\boldsymbol{x}_k,\boldsymbol{\theta}^t)\begin{bmatrix}\mathbf{x}_k-\boldsymbol{\theta}_i^t\end{bmatrix}\begin{bmatrix}\mathbf{x}_k-\boldsymbol{\theta}_i^t\end{bmatrix}^T}{\sum_{k=1}^NP^t(i|\boldsymbol{x}_k,\boldsymbol{\theta}^t)} \]

    循环:E步 \(\rightarrow\) M步 \(\rightarrow\) 参数更新 \(\rightarrow\) 再E步... 直到似然收敛,t表示当前这轮迭代,t+1代表下一轮迭代

后验概率:

\[P^t(i|\mathbf{x},\mathbf{\theta}^t)=\frac{P_i^tp(\mathbf{x}|\mathbf{\theta}_i^t)}{\sum_{j=1}^cP_j^tp(\mathbf{x}|\mathbf{\theta}_j^t)} \]

这个概率Pt表示根据当前模型,第 \(k\) 个点属于第 \(i\) 个簇的可能性

一直迭代后,该过程会趋向于稳定,最后会得到一组训练完成的高斯混合模型参数


假设一开始设定有 \(c=2\) 个簇,EM 最后可能得到:

簇 权重 \(Pi\) 均值 \(ui\) 协方差 \(Σi\)
簇 1 0.60 2.0 0.5
簇 2 0.40 8.0 1.5

这组参数表示:

  • 数据中约 60% 来自簇 1,约 40% 来自簇 2;
  • 簇 1 的中心在位置 2.0;
  • 簇 1 比较窄;
  • 簇 2 的中心在位置 8.0;
  • 簇 2 比较宽。

\[这些参数就可以复原概率密度函数:\hat{p}(x)=\sum_{i=1}^c\hat{P}_i\mathcal{N}(x\mid\hat{\mu}_i,\hat{\Sigma}_i) \]

posted @ 2026-11-18 07:04  narilove  阅读(3)  评论(0)    收藏  举报