2019年10月27日
FM因子分解机
摘要： 1. 从LR说起 阅读全文
posted @ 2019-10-27 17:08 阳光老男孩 阅读(111) 评论(0) 推荐(0)
GDBT && XGBOOST
摘要： 一 GBDT 与XGBOOST 的区别 1、GBDT 是梯度提升决策树算法，xgboost是Gradient Boosting的一种高效系统实现 2、基分类器的角度 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分 阅读全文
posted @ 2019-10-27 16:45 阳光老男孩 阅读(510) 评论(0) 推荐(0)
梯度消失&&梯度爆炸
摘要： 造成梯度消失的原因 <!--?xml version="1.0" encoding="UTF-8"?--> 两种情况下梯度消失经常出现，一是在深层网络中，二是采用了不合适的损失函数，比如sigmoid。 梯度爆炸一般出现在深层网络和权值初始化值太大的情况下 总结：从深层网络角度来讲，不同的层学习的速 阅读全文
posted @ 2019-10-27 16:44 阳光老男孩 阅读(82) 评论(0) 推荐(0)