机器学习算法分类学习概要

参考资料：从机器学习谈起 http://www.cnblogs.com/subconscious/p/4107357.html

A - 有监督学习（Supervised Learning）

    通过有标记的数据训练出模型，预测新数据的标签

1. 线性回归（Linear Regression）

    核心概念：最小二乘法，梯度下降，牛顿法

    特点：线性拟合，数值预测，最简单

2. 逻辑回归（Logistics Regression）

    核心概念：线性回归+Sigmoid函数

    特点：基本是线性拟合（非线性在处理大数据量时效率低下），分类预测

3. 神经网络（Neural Networks）

    核心概念：BP算法(加速神经网络训练过程的数值算法)，分解（网络-层-神经元）与整合，每个神经元是一个逻辑回归模型

    特点：非线性拟合，训练过程困难（90年代被SVM取代，随着深度学习出现重新复兴），利用生物科学的概念。

4. 支持向量机（Surport Vector Machines-SVM）

    核心概念：高斯核，低维映射到高维，SMO算法

    特点：非线性分类，逻辑回归算法的强化，基于统计学

B - 无监督学习（Unsupervised Learning）

    对无标记的数据进行训练，推测这些数据的标签

5. 聚类（Clustering）

    核心概念：K-Means算法，种群（Cluster，计算种群中的距离，根据距离的远近将数据划分为多个种群）

    特点：无监督学习

6. 维度下降（Dimesionality Reduction）

    核心概念：PCA（Principal Components Analysis，主成分分析）算法

    特点：无监督学习，压缩数据与提升机器学习其他算法的效率，数据可视化（维度下降以后）

C - 特殊算法（不属于监督或非监督）

7. 推荐（Recommender Systems）

    核心概念：协同过滤算法（Collaborative Filtering Algorithm），低秩矩阵分解（low-rank matrix factorization）

    特点：常见于电商购物推荐，分基于物品的推荐（每个物品若干标签，推荐标签相近的物品）和用户相似度（每个用户兴趣爱好若干标签，推荐相近用户的购买物品）的推荐

D - 其他（待归类）

8. 异常检测（Anomaly Detection）

    核心概念：高斯分布（Gaussian distribution，即正态分布）判别

    特点：常见于生产不良品检测

9. 朴素贝叶斯

10. 决策树