摘要：这篇总结继续复习分类问题。本文简单整理了以下内容： （一）线性判别函数与广义线性判别函数 （二）感知器 （三）松弛算法 （四）Ho-Kashyap算法 闲话：本篇是本系列［机器学习基础整理］在timeline上最新的，但实际上还有（七）、（八）都发布的比这个早，因为这个系列的博客是之前早就写好的，不 阅读全文

摘要：本文简单整理了以下内容： （一）线性回归 （二）二分类：二项Logistic回归 （三）多分类：Softmax回归 （四）广义线性模型 闲话：二项Logistic回归是我去年入门机器学习时学的第一个模型（忘记了为什么看完《统计学习方法》第一章之后直接就跳去了第六章，好像是对“逻辑斯蒂”这个名字很感兴 阅读全文

摘要：本文简单整理了以下内容： （一）维数灾难 （二）特征提取——线性方法 1. 主成分分析PCA 2. 独立成分分析ICA 3. 线性判别分析LDA （一）维数灾难（Curse of dimensionality） 维数灾难就是说当样本的维数增加时，若要保持与低维情形下相同的样本密度，所需要的样本数指数 阅读全文

摘要：本文简述了以下内容： （一）生成式模型的非参数方法 （二）Parzen窗估计 （三）k近邻估计 （四）k近邻分类器（k-nearest neighbor，kNN） （一）非参数方法（Non-parametric method） 对于生成式模型（Generative model）来说，重要的地方在于类 阅读全文