7-11

1.决策树

　　分类决策树，回归决策树

　　离散是分类，连续是回归决策

　　

　　id3算法：熵，（分类越细，错误越小）过拟合

　　　　　　  xi 表示各种情况（例如，出门与不出门|   优秀、及格、不及格）p(xi)为概率

 

　　　　　　

 

　　　　　　e = 0 分类最差 e = 1 分类最好   e(0~1)

　　C4.5: 熵增

　　　　减轻过拟合化

　　上面俩个不能做回归决策

　　cart：Gini指数 （判断分类的程度是否混乱）

　　　　损失函数  均方误差 连续，

　　　　剪枝（避免过拟合）

 

 

2.随机森林（基于决策树）

　　随机，分离

　　

 

 　　

 

 

3.支持向量机

 

4.logistic回归

　　离散/连续 ———》logistic ————》离散