机器学习常见算法概述

转载自：http://blog.csdn.net/a819825294

本文主要包括常见机器学习算法的实现，其中数学推导、原理、并行实现会给出链接。

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

1、K近邻(KNN)

算法

逼近离散值函数f的KNN算法

修改目标函数，则可以逼近连续值的目标函数

可以使用距离加权

其中

实现

（1）C++版本 http://blog.csdn.net/mimi9919/article/details/51172095
（2）python版本 可以参考机器学习实战

2、感知机

一篇介绍感知机原理很不错的文章：http://blog.csdn.net/dream_angel_z/article/details/48915561

感知机的损失函数是误分类点到超平面的距离

算法

实现

（1）C++版本 http://blog.csdn.net/idmer/article/details/49365301

3、朴素贝叶斯

算法

实现

（1）C++版本 http://blog.csdn.net/idmer/article/details/48809677

4、分类回归树（CART）

CART由ID3,C4.5慢慢演化而来，是许多基于树的bagging、boosting模型的基础，非常重要。

算法

其中，5.25如下

实现

（1）C++版本 http://blog.csdn.net/a819825294/article/details/51995323
（2）python版本 可以参考机器学习实战

5、逻辑斯蒂回归（LR）

算法

（1）模型参数估计

（2）梯度下降学习参数

（3）最终模型

更多原理

http://blog.csdn.net/a819825294/article/details/51172466

实现

（1）C++版本 http://www.chawenti.com/articles/15254.html
（2）python版本 可以参考机器学习实战

分布式

http://www.csdn.net/article/2014-02-13/2818400-2014-02-13

6、支持向量机（SVM）

算法

更多原理

http://blog.csdn.net/a819825294/article/details/51679152

实现

（1）C++版本 libsvm
（2）python版本 可以参考机器学习实战

7、神经网络（NN）

算法

实现

（1）C++版本 https://github.com/matthewrdev/Neural-Network

8、随机森林（RF）

算法

更多原理

http://blog.csdn.net/a819825294/article/details/51177435

实现

（1）C++版本 http://download.csdn.net/download/qq_17506541/8866653

9、AdaBoost

算法

实现

（1）C++版本 http://blog.csdn.net/a819825294/article/details/51995323
（2）python版本 可以参考机器学习实战

10、梯度提升树（GBDT）

算法

更多原理

http://blog.csdn.net/a819825294/article/details/51188740

实现

（1）C++版本 http://blog.csdn.net/a819825294/article/details/51995323

11、XGBoost

更多原理

http://blog.csdn.net/a819825294/article/details/51206410

实现

https://github.com/dmlc/xgboost

12、KMeans

算法

实现

（1）C++版本 http://blog.csdn.net/qll125596718/article/details/8243404

13、PCA

算法

参考文献
（1）《机器学习》 卡内基梅隆大学 Tom M.Mitchell
（2）《机器学习》 周志华
（3）《统计学习方法》 李航