决策树

理论：

Bagging思想：从总样本中每次抽取一定样本，去构建学习器，然后把学习器做投票或者平均，构成集成学习器

随机森林是Bagging思想的直接应用，取一部分的样本，取一部分的属性，采样过程是有放回的

问题：

1、信息增益跟基尼系数在数学上几乎相等，但ID3取信息增益下降最多的，CART选基尼系数最小的，且为什么CART构建的是二叉树

2、决策树如何处理连续值的分类

3、 用决策树如何做回归--回归树，

实践：