红豆生南国 是很遥远的事情

摘要： 目录1. DBSCAN2. OPTICS2. MeanShift 1. DBSCAN Density based clustering DBSCAN不要求我们指定cluster簇的数量，避免了异常值，并且在任意形状和大小的cluster簇中工作得非常好。它没有质心，聚类簇是通过将相邻的点连接在一起的 阅读全文

摘要： 目录1. k-Medoids2. 二分KMEANS3. KMeans++4. elkan KMeans5. min batch KMeans算法6.小结： 1. k-Medoids 之前的kmeans算法 对于异常点数据特别敏感，更新中心点的时候，是对于该簇的所有样本点求平均，这种方式对于异常样本特 阅读全文

摘要： 目录1. 什么是聚类2. 代码实现 1. 什么是聚类 无监督机器学习的一种 输入数据只有X 没有y 将已有的数据 根据相似度 将划分到不同的簇 （花团锦簇） 步骤： 随机选择k个簇的中心点 样本根据距离中心点的距离分配到不同的簇 重新计算簇的中心点 重复 2-3直到所有样本 分配的簇不再发生改变 距 阅读全文

摘要： 目录1. SVM概率化输出2. 合页损失 1. SVM概率化输出 标准的SVM进行预测 输出的结果是： 是无法输出0-1之间的 正样本 发生的概率值 sigmoid-fitting 方法： 将标准 SVM 的输出结果进行后处理，转换成后验概率 A,B 为待拟合的参数， f 为样本 x 的无阈值输出。 阅读全文

摘要： 1. alpha2 的修剪 if y1 != y2 : α1 - α2 = k # 不用算k的具体大小 if k > 0: # 上图的左 下这条线 α2 的区间 (0, c-k) k < 0 : # 上图的左 下这条线 α2 的区间 （-k, C） 所以： L = max(0, -k) # k>0 阅读全文

摘要： 目录1. SVM算法总结2. SMO算法 1. SVM算法总结 选择 核函数 以及对应的 超参数 为什么要选择核函数？ 升维 将线性问题不可分问题 升维后转化成 线性可分的问题 核函数 有那些？ linea gauss polinormail tanh 选择惩罚项系数C min ||w||2 + C 阅读全文

摘要： 目录1. 总结 SVM2. 软间隔svm4. 核函数 1. 总结 SVM SVM算法的基础是感知器模型， 感知器模型 与 逻辑回归的不同之处？ 逻辑回归 sigmoid(θx) 映射到 0-1之间给出预测概率 感知器分类 sign(θx) 输出θx的符号， +1 或者-1 给出x是属于正样本还是负样 阅读全文

摘要： 目录1. 铺垫 感知器算法模型2. SVM 算法思想3. 硬分割SVM总结 支持向量机(Support Vector Machine, SVM)本身是一个二元分类算法，是对感知器算法模型的一种扩展。 1. 铺垫 感知器算法模型 什么是感知器算法模型？ 感知器算法是最古老的分类算法之一，原理比较简单， 阅读全文

摘要： #!/usr/bin/env python # coding: utf-8 # In[3]: from scipy import fft from scipy.io import wavfile from matplotlib.pyplot import specgram import matplo 阅读全文

摘要： 1. softmax回归 伯努利分布（0-1分布 二分类），我们采用Logistic回归（用sigmoid函数映射到 0-1之间 输出预测概率）建模。 那么我们应该如何处理多分类问题？（比如要进行邮件分类；预测病情属于哪一类等等）。对于这种多项式分布我们使用softmax回归建模。 什么是多项分布？ 阅读全文