摘要： 博客上看到的，叫做层次聚类，但是《医学统计学》上叫系统聚类（chapter21） 思想很简单，想象成一颗倒立的树，叶节点为样本本身，根据样本之间的距离（相似系数），将最近的两样本合并到一个根节点，计算新的根节点与其他样本的距离（类间相似系数），距离最小的合为新的根节点。以此类推 对于样本X=（x1， 阅读全文

摘要： Density-based spatial clustering of applications with noise (DBSCAN) 名字较长，记它的initials，DBSAN/di,bi,skæn/，他基于数据的密度来聚类，所以适合数据稠密的情况，且在数据非凸情况下优于Kmeans。 DBS 阅读全文

摘要： BIRCH (balanced iterative reducing and clustering using hierarchies)（名字太长不用管了） 无监督，适合大样本的聚类方法。大多数情况只需扫描一次数据集。(文中有下划线的均表示向量） 一句话概括BIRCH，就是根据某种距离度量方法将数据 阅读全文

摘要： 上文原始Kmeans提到，由于Kmeans使用启发式迭代，所以当初始点不当时，导致得不到全局最优。 Kmeans++ 这个算法思想也很简单，与原始Kmeans唯一不同的是选择初始点的方式。 如图 假设，我们的样本如上图分布，准备选择3个初始点，即k=3。 第一，我随机选择了1作为初始点，求所有样本点 阅读全文

摘要： 原始Kmeans原理： Kmeans为无监督学习（即样本无标签，简单理解为没有Y值，只有X） Kmeans将给定的样本分为k个类，每一类成为一簇（clustering），目标是让每一簇样本紧密联系，簇与簇之间间隔较大 数学公式表示： 假设样本分$（C_{1},C_{2},,C_{k}）$，则优化目标 阅读全文

摘要： 在线性SVM一文中提到，线性可分时b的求解。但是在线性不可分情形下，如下二维平面图，无法找到一条直线将红蓝色样本点完全分开 SVM提出了一个解决办法，就是把低维的特征投影到高维空间使得样本可以一分为二，例如下动图所示。 回顾上一节软间隔，我们得到优化目标 $\underset{a}{min}=\fr 阅读全文

摘要： 上一节讲线性SVM时，文末提到在线性可分的情况下，找到一个支持向量，可求得b 但是当出现下图实例时，一些异常点导致的线性不可分 针对这种情况SVM提出了软间隔（soft margin），相对于硬间隔来说，简单将线性SVM看做硬间隔。 回顾硬间隔时优化目标： min $\frac{1}{2}\left 阅读全文

摘要： 在感知机一节中说到，我们在线性可分的情况下，寻找一个超平面使得 一部分实例$\sum_{i=1}^{n}w _{i}\cdot x_{i}>0$, 另一部分实例$\sum_{i=1}^{n}w _{i}\cdot x_{i}<0$ 但是感知机的解不唯一，所以会出现这样的情况 我们应该如何选择一个最佳 阅读全文

摘要： 接上一节KKT条件 感知机（perceptron）是理解神经网络和支持向量机的基础，值得我们认真学习。 感知机原理很朴素，功能也较为单一，即在样本线性可分的情况下，求得一个超平面P$\sum_{i=1}^{n}w _{i}\cdot x_{i}=0$，使得输入空间中的实例全部正确划分。 超平面的直观 阅读全文

摘要： 第一：设置 -> 页首Html代码, 加入如下代码 <script src="http://latex.codecogs.com/latex.js" type="text/javascript"></script> 第二：选项 -> 将启用数学公式支持勾选 第三：打开在线LaTex公式编辑器 htt 阅读全文