做梦当财神

摘要： 决策树-ID3、C4.5 决策树-CART 分类树 决策树-CART 回归树 决策树后剪枝 决策树可用于分类（\(ID3、C4.5、CART\) ），也可用于回归（\(CART\)），同时适合集成学习比如随机森林。 决策树学习分3步：特征选择、决策树的生成、剪枝。 一、分类决策树模型与学习 1.决策 阅读全文

摘要： 集成学习 随机森林 AdaBoost 算法 提升树 梯度提升树（GBDT） XGBoost 一、随机森林算法 随机森林（\(Random\ Forest\)，\(RF\)）是 \(Bagging\) 的一个扩展变体。 \(RF\) 的扩展包括两方面（除了这两点，与 \(Bagging\) 没什么不同 阅读全文

摘要： 集成学习 随机森林 AdaBoost 算法 提升树 梯度提升树（GBDT） XGBoost 一、个体与集成 集成学习（\(ensemble\ learning\)）通过构建并结合多个学习器完成学习任务。 集成学习可用于分类问题集成、回归问题集成、特征选取集成、异常点检测集成等。 集成学习思想：通过训 阅读全文

摘要： ·来自：https://mp.weixin.qq.com/s/tevVm0jlS6vZ3LCnczWD0w 前言 李航老师《统计学习方法》详细的描述了决策树的生成和剪枝。根据书的内容，做总结如下。 目录 a. 决策树不确定性的度量方法 1. 不确定性理解 下图为事件A是否发生的概率分布，事件发生记为 阅读全文

摘要： 来自：https://mp.weixin.qq.com/s/CDMBQPgzcrjbZ_sX01q2hQ 在算法中使用正则化的目的是防止模型出现过拟合。 提到正则化，想到L1范数和L2范数。在这之前，先看LP范数是什么。 LP范数 范数简单理解为向量空间中的距离，距离定义很抽象，只要满足非负、自反、 阅读全文

摘要： 偏度与峰度的正态性分布判断 用统计方法对数据进行分析，有很多方法如T检验、方差分析、相关分析以及线性回归等。都要求数据服从正态分布或近似正态分布。上篇博客用Q-Q图验证数据集符合正态分布。这篇博客先介绍偏度与峰度定义，然后用偏度与峰度检测数据集是否符合正态分布，最后分析该检测算法的使用条件以及sps 阅读全文

摘要： 正负样本数据集符合独立同分布是构建机器学习模型的前提，从概率的角度分析，样本数据独立同分布是正负样本数据从某一定的数据分布随机抽取的，且正负样本的分布是不一样的。举例来说，若我们用非洲的西瓜作为训练集，然后用中国西瓜作为测试集，则数据集可能不满足同分布这一前提；抛硬币是最简单的独立同分布；用专业术语 阅读全文

摘要： 机器学习中，将数据集划分为训练集、验证集、测试集。训练集构建模型，然后用模型计算测试集的测试误差，最后以测试集的测试误差近似为模型的泛化能力，根据泛化能力来评估模型的优劣。 本文首先引入数据集概率分布的概念，然后介绍模型评估方法。 1. 数据集的概率分布 总体样本服从某一分布P(X)，数据集D是从总 阅读全文

摘要： 利用Python字典统计 利用Python的collection包下Counter类统计 利用Python的pandas包下的value_counts类统计 字典统计 a = [1, 2, 3, 1, 1, 2] dict = {} for key in a: dict[key] = dict.ge 阅读全文

摘要： 来自：Python那些事 pandas中accessor功能很强大，可以将它理解为一种属性接口，通过它获得额外的方法。 下面用代码和实例理解一下： 对于Series数据结构使用_accessors方法，我们得到3个对象：cat, str, dt。 .cat:用于分类数据(Categorical da 阅读全文