聚类算法5-算法优化（canopy、K-means++、二分K-means、K-medoids、kernel K-means、ISODATA、Mini-batch K-means）

1 k-means算法小结

优点：
1.原理简单（靠近中心点），实现容易
2.聚类效果中上（依赖K的选择）
3.空间复杂度o(N)，时间复杂度o(IKN)

N为样本点个数，K为中心点个数，I为迭代次数

缺点：
1.对离群点、噪声敏感（中心点易偏移）
2.很难发现大小差别很大的簇及进行增量计算
3.结果不一定是全局最优，只能保证局部最优（与K的个数及初值选取有关）

2 Canopy算法配合初始聚类

• Canopy算法配合初始聚类实现流程

• Canopy算法的优缺点
  优点:
  1.Kmeans对噪声抗干扰较弱，通过Canopy对比，将较小的NumPoint的Cluster直接去掉有利于抗干扰。
  2.Canopy选择出来的每个Canopy的centerPoint作为K会更精确。
  3.只是针对每个Canopy的内做Kmeans聚类，减少相似计算的数量。
  缺点：
  1.算法中 T1、T2的确定问题 ，依旧可能落入局部最优解

3 K-means++

其中：

为方便后面表示，把其记为A

kmeans++目的，让选择的质心尽可能的分散

4 二分k-means

实现流程:
1.所有点作为一个簇
2.将该簇一分为二
3.选择能最大限度降低聚类代价函数（也就是误差平方和）的簇划分为两个簇。
4.以此进行下去，直到簇的数目等于用户给定的数目k为止。

优点：

• 二分K均值算法可以加速K-means算法的执行速度，因为它的相似度计算少了并且不受初始化问题的影响，因为这里不存在随机点的选取，且每一步都保证了误差最小

5 k-medoids（k-中心聚类算法）

k-medoids对噪声鲁棒性好

K-medoids和K-means不一样的地方在于中心点的选取

• K-means将中心点取为当前cluster中所有数据点的平均值，对异常点很敏感!
• K-medoids中，将从当前cluster 中选取到其他所有点（当前cluster中的）的距离之和最小的点作为中心点。
  
  算法流程：
  （1）总体n个样本点中任意选取k个点作为medoids
  （2）按照与medoids最近的原则，将剩余的n-k个点分配到当前最佳的medoids代表的类中
  （3）对于第i个类中除对应medoids点外的所有其他点，按顺序计算当其为新的medoids时，代价函数的值，遍历所有可能，选取代价函数最小时对应的点作为新的medoids
  （4）重复2-3的过程，直到所有的medoids点不再发生变化或已达到设定的最大迭代次数
  （5）产出最终确定的k个类

6 Kernel k-means

kernel k-means实际上，就是将每个样本进行一个投射到高维空间的处理，然后再将处理后的数据使用普通的k-means算法思想进行聚类。

7 ISODATA

类别数目随着聚类过程而变化；
对类别数会进行合并，分裂

• “合并”：（当聚类结果某一类中样本数太少，或两个类间的距离太近时）
• “分裂”：（当聚类结果中某一类的类内方差太大，将该类进行分裂）

8 Mini Batch K-Means

• 适合大数据的聚类算法，通常当样本量大于1万做聚类时，就需要考虑选用Mini Batch K-Means算法。
• 该算法的迭代步骤有两步：
  • 从数据集中随机抽取一些数据形成小批量，把他们分配给最近的质心
  • 更新质心

总结

优化方法	思路
Canopy+kmeans	Canopy粗聚类配合kmeans
kmeans++	距离越远越容易成为新的质心
二分k-means	拆除SSE最大的簇
k-medoids	和kmeans选取中心点的方式不同
kernel kmeans	映射到高维空间
ISODATA	动态聚类，可以更改K值大小
Mini-batch K-Means	大数据集分批聚类