摘要:参考资料: 珍藏版 | 20道XGBoost面试题 推荐系统面试题之机器学习(一) 树模型 1. 简单介绍一下XGBoost2. XGBoost与GBDT有什么不同3. XGBoost为什么使用泰勒二阶展开4. XGBoost为什么可以并行训练5. XGBoost为什么快6. XGBoost防止过拟 阅读全文
posted @ 2019-11-22 21:54 控球强迫症 阅读 (14) 评论 (0) 编辑
摘要:参考资料(要是对于本文的理解不够透彻,必须将以下博客认知阅读,方可更加了解Xgboost): 1.对xgboost的理解(参考资料1和4是我认为对Xgboost理解总结最透彻的两篇文章,其根据作者paper总结!) 2.手动还原XGBoost实例过程(提供了一个实例,方便读者更加了解算法过程) 3. 阅读全文
posted @ 2019-11-22 17:44 控球强迫症 阅读 (34) 评论 (0) 编辑
摘要:参考资料(要是对于本文的理解不够透彻,必须将以下博客认知阅读): 1. https://zhuanlan.zhihu.com/p/86263786 2.https://blog.csdn.net/liuy9803/article/details/80598652 3.https://blog.csd 阅读全文
posted @ 2019-11-21 18:07 控球强迫症 阅读 (75) 评论 (0) 编辑
摘要:参考资料(要是对于本文的理解不够透彻,必须将以下博客认知阅读,方可全面了解决策树): 1.https://zhuanlan.zhihu.com/p/85731206 2.https://zhuanlan.zhihu.com/p/29980400 3.https://github.com/Vay-ke 阅读全文
posted @ 2019-11-16 20:18 控球强迫症 阅读 (97) 评论 (0) 编辑
摘要:参考资料(要是对于本文的理解不够透彻,必须将以下博客认知阅读,方可全面了解LR): (1).https://zhuanlan.zhihu.com/p/74874291 (2).逻辑回归与交叉熵 (3).https://www.cnblogs.com/pinard/p/6029432.html (4) 阅读全文
posted @ 2019-11-14 11:52 控球强迫症 阅读 (212) 评论 (0) 编辑
摘要:参考资料:梯度下降优化算法总结(必看!!!!!!!) 梯度下降法(Gradient Descent)推导和示例(必看!!!) 梯度下降法 (Gradient Descent Algorithm,GD) 是为目标函数J(θ),如代价函数(cost function), 求解全局最小值(Global M 阅读全文
posted @ 2019-11-13 21:41 控球强迫症 阅读 (73) 评论 (0) 编辑
摘要:参考:菜菜的sklearn教学之降维算法.pdf!! PCA(主成分分析法) 1. PCA(最大化方差定义或者最小化投影误差定义)是一种无监督算法,也就是我们不需要标签也能对数据做降维,这就使得其应用范围更加广泛了。那么PCA的核心思想是什么呢? 例如D维变量构成的数据集,PCA的目标是将数据投影到 阅读全文
posted @ 2019-11-13 17:20 控球强迫症 阅读 (116) 评论 (0) 编辑
摘要:正则化是一种回归的形式,它将系数估计(coefficient estimate)朝零的方向进行约束、调整或缩小。也就是说,正则化可以在学习过程中降低模型复杂度和不稳定程度,从而避免过拟合的危险。 一、数学基础 1. 范数 范数是衡量某个向量空间(或矩阵)中的每个向量以长度或大小。范数的一般化定义:对 阅读全文
posted @ 2019-10-31 20:28 控球强迫症 阅读 (33) 评论 (0) 编辑
摘要:一、范数的概念 向量范数是定义了向量的类似于长度的性质,满足正定,齐次,三角不等式的关系就称作范数。 一般分为L0、L1、L2与L_infinity范数。 二、范数正则化背景 1. 监督机器学习问题无非就是“minimizeyour error while regularizing your par 阅读全文
posted @ 2019-10-31 15:47 控球强迫症 阅读 (39) 评论 (0) 编辑
摘要:1. SVM 原理 SVM 是一种二类分类模型。它的基本思想是在特征空间中寻找间隔最大的分离超平面使数据得到高效的二分类,具体来讲,有三种情况(不加核函数的话就是个线性模型,加了之后才会升级为一个非线性模型): 当训练样本线性可分时,通过硬间隔最大化,学习一个线性分类器,即线性可分支持向量机; 当训 阅读全文
posted @ 2019-10-18 15:02 控球强迫症 阅读 (89) 评论 (0) 编辑