摘要：著名的科学杂志《Nature》于1999年刊登了两位科学家D.D.Lee和H.S.Seung对数学中非负矩阵研究的突出成果。该文提出了一种新的矩阵分解思想――非负矩阵分解(Non-negative Matrix Factorization，NMF)算法，即NMF是在矩阵中所有元素均为非负数约束条件之 阅读全文

摘要：1、近邻成分分析（NCA）算法 以上内容转载自：http://blog.csdn.net/chlele0105/article/details/13006443 2、度量学习 在机器学习中，对高维数据进行降维的主要目的是找到一个合适的低维空间，在该空间中进行学习能比原始空间性能更好。每个空间对应了在 阅读全文

摘要：1、PCA降维 降维有什么作用呢？数据在低维下更容易处理、更容易使用；相关特征，特别是重要特征更能在数据中明确的显示出来；如果只有两维或者三维的话，更便于可视化展示；去除数据噪声降低算法开销 常见的降维算法有主成分分析（principal component analysis,PCA）、因子分析（F 阅读全文

摘要：1、交叉验证 交叉验证（Cross validation)，交叉验证用于防止模型过于复杂而引起的过拟合.有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。 于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集。而其它的子集则被称为 阅读全文

摘要：1、特征选择 特征选择是一种及其重要的数据预处理方法。假设你需要处理一个监督学习问题，样本的特征数非常大（甚至），但是可能仅仅有少部分特征会和对结果产生影响。甚至是简单的线性分类，如果样本特征数超过了n，但假设函数的VC维确仍然是O(n)，那么，除非大大扩展训练集的数量，否则即会带来过拟合的问题。在 阅读全文