随笔分类 -  统计学习/机器学习

回归问题常用的损失函数总结
摘要：1. 均方误差MSE 归一化的均方误差（NMSE） 2. 平均绝对误差MAE # true: 真目标变量的数组 # pred: 预测值的数组 def mse(true, pred): return np.sum((true - pred)**2) def mae(true, pred): retur 阅读全文
posted @ 2020-07-15 19:26 不学无墅_NKer 阅读(1362) 评论(0) 推荐(0)
DBDT的改进之XGBoost算法介绍
摘要：主要内容： XGBoost算法的介绍 XGBoost算法的损失函数 XGBoost函数介绍 算法的应用实战——信用卡欺诈行为的识别 1.XGBoost算法的介绍 XGBoost是由传统的GBDT模型发展而来的，GBDT模型在求解最优化问题时应用了一阶导技术，而XGBoost则使用损失函数的一阶和二阶 阅读全文
posted @ 2019-11-01 19:35 不学无墅_NKer 阅读(703) 评论(0) 推荐(0)
非平衡数据的处理（SMOTE算法）
摘要：主要内容： 非平衡数据的特征 SMOTE算法的思想及步骤 SMOTE算法的手工案例 SMOTE算法的函数介绍 1.非平衡数据的特征 在实际应用中，类别型的因变量可能存在严重的偏倚，即类别之间的比例严重失调。如欺诈问题中，欺诈类观测在样本集中毕竟占少数；客户流失问题中，忠实的客户往往也是占很少一部分； 阅读全文
posted @ 2019-10-31 20:45 不学无墅_NKer 阅读(1920) 评论(0) 推荐(0)
梯度提升树之DBDT算法的介绍
摘要：主要内容： 1.梯度提升决策树（GBDT）原理 1.1模型介绍 2.GBDT算法步骤 2.1GBDT算法在分类问题上的操作步骤 2.2GBDT算法在预测问题上的操作步骤 2.3GBDT函数介绍 3.GBDT示例 4.GBDT特点及应用 5.GBDT算法的应用——信用卡是否违约的识别 1.梯度提升决策 阅读全文
posted @ 2019-10-31 20:17 不学无墅_NKer 阅读(1276) 评论(0) 推荐(0)
提升树之Adaboost算法的介绍
摘要：主要内容： 1.模型介绍 提升树算法与线性回归模型的思想类似，所不同的是该算法实现了多棵基础决策树𝑓(𝑥)的加权运算，最具代表的提升树为AdaBoost算法，即 2.损失函数的介绍 对于Adaboost算法而言，每一棵基础决策树都是基于前一棵基础决策树的分类结果对样本点设置不同的权重，如果在前一 阅读全文
posted @ 2019-10-31 19:58 不学无墅_NKer 阅读(470) 评论(0) 推荐(0)
激活函数
摘要：常见激活函数 S型( Sigmoid)激活函数将加权和转换为介于0和1之间的值 修正线性单元激活函数（简称为ReLU)的效果通常要好一点，同时还非常易于计算 阅读全文
posted @ 2019-10-15 09:58 不学无墅_NKer 阅读(156) 评论(0) 推荐(0)
逻辑回归（二元+多元分类原理）
摘要：二元分类 Sigmod函数 逻辑回归中的损失函数 多元分类 当我们处理多分类任务时，通常需要使用Softmax Regression模型。Softmax Regression会对每一类别估算出一个概率。工作原理：将判定为某一类的特征相加，然后将这些特征转化为判定是这一类的概率。 Softmax思想 阅读全文
posted @ 2019-10-09 17:30 不学无墅_NKer 阅读(7512) 评论(0) 推荐(0)
数据集划分
摘要：构建和训练机器学习模型是希望对新的数据做出良好预测 如何去保证训练的实效，可以应对以前未见过的数据呢? 一种方法是将数据集分成两个子集： 训练集-用于训练模型的子集 测试集-用于测试模型的子集通常，在测试集上表现是否良好是衡量能否在新数据上表现良好的有用指标，前提是： 测试集足够大 不会反复使用相同 阅读全文
posted @ 2019-10-09 16:29 不学无墅_NKer 阅读(811) 评论(0) 推荐(0)