摘要：基本流程: 决策树: 根结点:属性测试，包含样本全集 内部结点:属性测试，根据属性测试的结果被划分到子结点中 叶结点：决策结果 划分选择:如何选择最优划分属性。目标是结点的"纯度"越来越高 1.信息增益： 使用“信息熵”: 信息增益越大，意味使用属性a划分所获得的“纯度提升”越大。因此可以使用信息增 阅读全文

摘要：基本形式: d个属性描述的示例x=（x1;x2;...;xd）,xi是x在第i个属性上的取值。线性模型试图学一个通过属性的线性组合进行预测的函数: f(x)=w1x1+w2x2+...+wdxd+b， 向量形式为 f(x)=wTx+b w=(w1;w2;...;wd),w和b学得之后，模型可以确定。 阅读全文

摘要：模型评估与选择: 经验误差:实际预测输出和样本真实输出的差异，在训练集上的误差称为训练误差，经验误差，在新样本上的误差称为泛化误差。 拟合: 过拟合:训练样本学习的太好，泛化性能下降、欠拟合,训练样本尚未学好，繁华性能下降 评估方法:（从泛化误差进行评估，从而做出选择） 测试集、测试误差、泛化误差的 阅读全文