7.11 机器学习（六） 损失函数 决策树 id3

损失函数 决策树 id3

1.用途：用于评估拟合回归线；
2.目的：让误差最小（误差：预测值-真实值）
3.方法：
a:Mae平均绝对误差
b:Mse均方误差
c：Rmse均方根误差
决策树
1.定义：非参数（无超参）的监督学习方法
2.特征：叶子节点是结果，非叶子节点是条件（规则）
3.优点：又快又准，可以处理分类和回归问题，不需要专业知识和参数假设且适合高维数据
4.缺点：易过拟合，易忽略属性之间的相关性，特征选择与各类别样本比例相关
5.思想：信息增益（在信息理论中表示信息的混乱程度，熵越小信息越挫纯效果越好），信息增益率，基尼系数等
6.算法：
a:ID3：
原理：每个分裂节点选择信息增益最大的特征拆分节点
前置公式：

终止条件：
当前节点所有样本都是一个类别或无可划分特征（取当前多数类）或特征划分子集为空（取父类点多数类）

b.C4.5:
原理：每个分裂节点选择信息增益率最大的特征拆分节点
前置公式：比id3多一个：

与id3的不同点：与id3的不同，多了个自底向上的剪枝，还能处理连续特征
其余相同

c.CART 算法：
原理：计算所有特征的所有分割点（强制二分的点），取加权基尼最小
前置公式：