摘要： 一般来说，Ensemble模型适合于过拟合的模型，包括bagging和boosting. 3.1 Bagging 其中Bagging是单独训练每个分类器，然后用平均或者投票的方法组合，boosting的方法则是分类器之前存在强依赖，前一个分类器预测的解构会影响后一个分类器。随机森林就是DT的bagg 阅读全文

摘要： @[toc] 2.1简介 决策树算法经典的机器学习算法，也是使用的很普遍的一类算法，集成学习中的随机森林就是以决策树算法为基础的。决策树是Quinlan(昆兰)在1986年提出来的，最开始的版本是ID3算法，之后他又提出来C4.5算法。后来，有人在昆兰的基础上提出了CART算法，本文主要介绍这三种算 阅读全文

摘要： @[toc] 1 Logistic Regression Logistic Regression 逻辑回归，简称LR，适合于分类问题 1.1 LR模型 对于线性回归模型，需要拟合一个$Y=X\theta+b$的函数，回归问题适合于连续的问题，而对于分类问题，需要得到一系列离散的标签，以二分类为例，需 阅读全文