随笔分类 - 机器学习算法
摘要：最近学习层次聚类算法，厚颜转载一篇博文。 参考： 层次聚类算法的原理及实现Hierarchical Clustering 层次聚类(Hierarchical Clustering)是聚类算法的一种，通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树。在聚类树中，不同类别的原始数据点是树的最
阅读全文
摘要：ID3 公式 设D为用类别对训练元组进行的划分，则D的熵（entropy）表示为： info(D)=−∑i=1npilogpi(1) 现在我们假设将训练元组D按属性A进行划分，则A对D划分的期望信息为： infoA(D)=∑i=jv|Dj||D|info(Dj)(2) 信息增益： gain(A)=i
阅读全文
摘要：在决策树算法中有对熵，信息增益的运用，通过查询资料学习了，为了方便查阅，做一些笔记，如果有误，请大家包涵并指出。 熵 熵是信息的期望值： H(X)=∑i=1n−p(xi)logp(xi)(1) 熵只依赖X的分布，和X的取值没有关系，熵是用来度量不确定性，当熵越大，概率说X=xi的不确定性越大，反之越
阅读全文
摘要：KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。 条件 一般的优化问题： minimize f(x)(1) subject to ai(x)=0fori=0,1,⋯,p(2) cj(x)≧0forj=0,
阅读全文
摘要：拉格朗日乘数法是用来求条件极值的，极值问题有两类，其一，求函数在给定区间上的极值，对自变量没有其它要求，这种极值称为无条件极值。 其二，对自变量有一些附加的约束条件限制下的极值，称为条件极值。例如给定椭球： x2a2+y2b2+z2c2=1(1) 求这个椭球的内接长方体的最大体积。这个问题实际上就是
阅读全文
摘要：今天学习SVD原理，查看一些博文与资料，为了方便复习，做一下学习笔记。 SVD不仅是一个数学问题，在工程应用中的很多地方都有它的身影，比如前面讲的PCA，掌握了SVD原理后再去看PCA那是相当简单的，在推荐系统方面，SVD更是名声大噪，将它应用于推荐系统的是Netflix大奖的获得者Koren，可以
阅读全文
摘要：今天看到PCA，查了资料，觉得还是PCA的数学原理讲的最易懂，那么我就厚颜将博文重写了一遍，加深印象，也作为读文笔记。 数据的向量表示及降维问题 一般情况下，在数据挖掘和机器学习中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一组记录的集合，其中每一天的数据是一条记录，格式
阅读全文
摘要：最近学习了矩阵的空间，以及各个空间的关系，为了以后查阅方便，便做个笔记，有错误的地方请大家指正一下。 数学符号 符号 意义 Rn n维实空间 Rm×n mxn的实矩阵集合 T 转置 det(A) 行列式 C(A) 列空间 N(A) 零空间 A−1 逆 diag(a) 将向量转化为对角矩阵 Tr 迹
阅读全文
摘要：参考资料 https://wenku.baidu.com/view/da5a1f14f18583d049645976.html?re=view 今天看SVD（奇异值分解），讲到了满秩分解，我查阅了一下资料，顺便做一下笔记。 定理 设A∈Cm×nr，那么存在B∈Cm×rr,C∈Cr×nr，使得：A=B
阅读全文
摘要：PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的
阅读全文
浙公网安备 33010602011771号