摘要：决策树是多叉树，决策树是彼此互斥且完备的一系列的if then规则。 决策树还可以看成给定条件下类的条件概率分布，每条路径对应于划分中的一个单元。 决策树的损失函数通常是正则化的极大似然函数。 决策树的核心算法就是对可能的决策树空间进行自上而下的贪心搜索。 特征选择，怎么选特征 ： 熵的解释：信息论 阅读全文

摘要：k近邻法，简要说就是 近朱者是赤的，近墨者是黑的 如何定义近邻？ 距离度量 欧式距离 曼哈顿距离 切比雪夫距离 闵可夫斯基距离 标准化欧氏距离 马氏距离 夹角余弦 汉明距离 杰卡德距离、杰卡德相似系数 相关系数、相关距离 信息熵 详见 "机器学习中的相似性度量" k如何选取？ 交叉验证，取效果最佳的 阅读全文