06 2020 档案

算法岗面试题：模型的bias和variance是什么？用随机森林举例
摘要：校招在即，准备准备一些面试可能会用到的东西吧。希望这次面试不会被挂。 基本概念 说到机器学习模型的误差，主要就是bias和variance。 Bias：如果一个模型的训练错误大，然后验证错误和训练错误都很大，那么这个模型就是高bias。可能是因为欠拟合，也可能是因为模型是弱分类器。 Variance 阅读全文
posted @ 2020-06-24 18:17 忽逢桃林 阅读(1193) 评论(0) 推荐(0)
一文入门：XGBoost与手推二阶导
摘要：作者前言 在2020年还在整理XGB的算法，其实已经有点过时了。。不过，主要是为了学习算法嘛。现在的大数据竞赛，XGB基本上已经全面被LGB模型取代了，这里主要是学习一下Boost算法。之前已经在其他博文中介绍了Adaboost算法和Gradient-boost算法，这篇文章讲解一下XGBoost。 阅读全文
posted @ 2020-06-22 20:58 忽逢桃林 阅读(1924) 评论(0) 推荐(0)
一文读懂：GBDT梯度提升
摘要：先缕一缕几个关系： GBDT是gradient-boost decision tree GBDT的核心就是gradient boost，我们搞清楚什么是gradient boost就可以了 GBDT是boost中的一种方法，boost还有XGBoost，adaboost。 基本概念 【Boost】就 阅读全文
posted @ 2020-06-22 03:29 忽逢桃林 阅读(685) 评论(0) 推荐(0)
一文读懂：梯度消失（爆炸）及其解决方法
摘要：梯度消失问题和梯度爆炸问题，总的来说可以称为梯度不稳定问题。 【要背住的知识】：用ReLU代替Sigmoid，用BN层，用残差结构解决梯度消失问题。梯度爆炸问题的话，可以用正则化来限制。sigmoid的导数是【0，0.25】. 出现原因 两者出现原因都是因为链式法则。当模型的层数过多的时候，计算梯度 阅读全文
posted @ 2020-06-21 18:51 忽逢桃林 阅读(12570) 评论(0) 推荐(0)
一文搞懂：Adaboost及手推算法案例
摘要：boosting Boosting 算法的特点在于：将表现一般的弱分类器通过组合变成更好的模型。代表自然就是我们的随即森林了。 GBDT和Adaboost是boost算法中比较常见的两种，这里主要讲解Adaboost。 Adaboost Adaboost算法的核心就是两个权重。对于数据有一个权重，权 阅读全文
posted @ 2020-06-21 06:44 忽逢桃林 阅读(857) 评论(0) 推荐(0)
一文搞懂：线性回归与逻辑回归（似然参数估计）
摘要：线性回归解决的是回归问题，逻辑回归相当于是线性回归的基础上，来解决分类问题。 公式 线性回归(Linear Regression)是什么相比不用多说了。格式是这个样子的： \(f_{w,b}(x)=\sum_i{w_ix_i}+b\) 而逻辑回归（Logistic Regression）的样子呢？ 阅读全文
posted @ 2020-06-20 02:48 忽逢桃林 阅读(660) 评论(0) 推荐(0)
一文读懂：防止过拟合的所有方法
摘要：什么是过拟合 过拟合就是在训练集上表现得非常好，在测试集上表现得不好。也就是我们俗称的泛化能力弱。 过拟合无法避免，只能缓解，那么如何缓解呢？方法太多了。这篇文章一一介绍。 数据集增强Augmentation 图像上，翻转，平移，缩放，旋转，镜像，增强对比度，增强亮度等诸多方式。 我在下面的内容中介 阅读全文
posted @ 2020-06-20 02:45 忽逢桃林 阅读(1719) 评论(0) 推荐(0)