做梦当财神

摘要： 一、什么是正规方程 梯度下降法计算参数最优解，过程是对代价函数的每个参数求偏导，通过迭代算法一步步更新，直到收敛到全局最小值，从而得到最优参数。 正规方程是一次性求得最优解。 思想：对于一个简单函数，对参数求导，将其值置为0，就得到参数的值。像下面这样： 现实例子有很多参数，我们要对这些参数都求偏导 阅读全文

摘要： 1. if语句在行内 print('Hello' if True else 'World') Hello 2. 数值比较 x = 2 if 3>x>1: print(x) if 1<x>0: print(x) 2 2 3. 迭代工具 和collections库相似，还有一个库itertools，能高 阅读全文

摘要： 一、问题 有一个字典(或元组)列表，根据字典字段(或元组的值)排序这个列表。 二、解决方案 1. 列表 operator.itemgetter() 获取的不是值，而是定义一个函数，通过该函数作用到对象上才能获取值。 from operator import itemgetter a = [1, 2, 阅读全文

摘要： 损失函数，代价函数，目标函数区别 损失函数：定义在单个样本上，一个样本的误差。 代价函数：定义在整个训练集上，所有样本的误差，也就是损失函数的平均。 目标函数：最终优化的函数。等于经验风险+结构风险（Cost Function+正则化项）。 目标函数和代价函数的区别还有一种通俗的区别： 目标函数最大 阅读全文

摘要： 决策树-ID3、C4.5 决策树-CART 分类树 决策树-CART 回归树 决策树后剪枝 决策树可用于分类（\(ID3、C4.5、CART\) ），也可用于回归（\(CART\)），同时适合集成学习比如随机森林。 决策树学习分3步：特征选择、决策树的生成、剪枝。 一、分类决策树模型与学习 1.决策 阅读全文

摘要： 集成学习 随机森林 AdaBoost 算法 提升树 梯度提升树（GBDT） XGBoost 一、随机森林算法 随机森林（\(Random\ Forest\)，\(RF\)）是 \(Bagging\) 的一个扩展变体。 \(RF\) 的扩展包括两方面（除了这两点，与 \(Bagging\) 没什么不同 阅读全文

摘要： 集成学习 随机森林 AdaBoost 算法 提升树 梯度提升树（GBDT） XGBoost 一、个体与集成 集成学习（\(ensemble\ learning\)）通过构建并结合多个学习器完成学习任务。 集成学习可用于分类问题集成、回归问题集成、特征选取集成、异常点检测集成等。 集成学习思想：通过训 阅读全文

摘要： ·来自：https://mp.weixin.qq.com/s/tevVm0jlS6vZ3LCnczWD0w 前言 李航老师《统计学习方法》详细的描述了决策树的生成和剪枝。根据书的内容，做总结如下。 目录 a. 决策树不确定性的度量方法 1. 不确定性理解 下图为事件A是否发生的概率分布，事件发生记为 阅读全文

摘要： 来自：https://mp.weixin.qq.com/s/CDMBQPgzcrjbZ_sX01q2hQ 在算法中使用正则化的目的是防止模型出现过拟合。 提到正则化，想到L1范数和L2范数。在这之前，先看LP范数是什么。 LP范数 范数简单理解为向量空间中的距离，距离定义很抽象，只要满足非负、自反、 阅读全文

摘要： 偏度与峰度的正态性分布判断 用统计方法对数据进行分析，有很多方法如T检验、方差分析、相关分析以及线性回归等。都要求数据服从正态分布或近似正态分布。上篇博客用Q-Q图验证数据集符合正态分布。这篇博客先介绍偏度与峰度定义，然后用偏度与峰度检测数据集是否符合正态分布，最后分析该检测算法的使用条件以及sps 阅读全文