红豆生南国 是很遥远的事情

摘要： 目录1. 剪枝2. CCP—代价复杂度剪枝（CART）4. α值的确定 1. 剪枝 将子树还原成一个叶子节点： 是解决过拟合的一个有效方法。当树训练得过于茂盛的时候会出现在测试集上的效果比训练集上差不少的现象，即过拟合。可以采用如下两种剪枝策略。 前剪枝，设置超参数抑制树的生长， 例如:max_de 阅读全文

摘要： 目录1. 决策树2. 举个例子 计算信息增益3. C4.5算法 1. 决策树 决策树是属于有监督机器学习的一种，起源非常早，符合直觉并且非常直观， 模型生成：通过大量数据生成一颗非常好的树，用这棵树来预测新来的数据 预测：来一条新数据，按照生成好的树的标准，落到某一个叶子节点上 决策树的数学表达，递 阅读全文

摘要： 目录1. Linear Discriminant Analysis 线性判别分析 1. Linear Discriminant Analysis 线性判别分析 经常被用于分类问题的降维技术，相比于PCA，LDA可以作为一种有监督的降维算法，降维的时候用到了y的真实值，有监督的降维。 在PCA中，算法 阅读全文

摘要： 目录1. 引入2. 几何的角度理解SVD3. 空间的角度理解4 如何求解SVD5. SVD的应用 1. 引入 奇异值分解，singular value deconposition是6种矩阵分解方式中，综合性最强应用最广泛的分解技术，是PCA（主成分分析）的基础 六种矩阵分解技术： 只有矩阵为方阵(m 阅读全文

摘要： 目录1. 概念2. 性质3. 相似矩阵4. 矩阵的行列式与迹5. 特征值与特征向量分解矩阵 1. 概念 特征值与特征向量的英文是 eigenvalue 和 eigenvector， 这个前缀 eigen- 起源于德语，意思是 proper(这里应该是专属的意思）、characteristic（特征的 阅读全文

摘要： [POC] 1. 奇异值分解的本质 特征值分解只能够对于方阵提取重要特征， Ax=λx λ为特征值 x为对应的特征向量 奇异值分解可以对于任意矩阵； 注意看中间的矩阵是一个对角矩阵，颜色越深越起作用-值越大 颜色越浅越接近0 U是左奇异矩阵，V是右奇异矩阵，均是正交矩阵， 中间的Σ是对角阵，除对角线 阅读全文

摘要： 目录1. 降维的方式2. PCA的一般步骤3. 思想2 最小化投影距离4. Kernelized PCA 1. 降维的方式 对于维度灾难、数据冗余，这些在数据处理中常见的场景，我们不得不进一步处理，得到更精简更有价值的特征信息，所用的的各种方法的统称就是降维 特征抽取：叫做特征映射更合适。因为它的思 阅读全文

摘要： 目录1.什么是GMM2. GMM 算法的一般流程3. 使用模型 1.什么是GMM 假设不同的簇数据来自于不同的高斯分布。或者换句话说，高斯混合模型就是当成数据集是由多个高斯分布混合而成的。这是这个模型的核心思想. 一维的gauss分布： 多变量（比如d个变量）高斯分布的概率密度函数： μ是一个n维向 阅读全文

摘要： 目录1. AP聚类算法2. Spectral Clustering 谱聚类 参考链接：https://www.cnblogs.com/pinard/p/6221564.html 1. AP聚类算法 affinity 相似度 propgaption 传播 exemplars 模范 代表 Affinit 阅读全文

摘要： 目录1.凝聚聚类 Agglomerative Clustering2. 分裂聚类3. BIRCH 1.凝聚聚类 Agglomerative Clustering 在不同层次上对数据集进行划分，形成树状的聚类结构。AggregativeClustering是一种常用的层次聚类算法。 最初将每个样本点看 阅读全文