摘要：Label 经典决策树：单棵树的ID3、C4.5、CART 决策树组合：基于bagging与boosting思想，出现了 随机森林（random forest） 极端随机树（ET） 梯度提升决策树（Gradient Boosting decision tree，GBDT） XGB LGB 最初的决策 阅读全文

摘要：label： 1、优化算法 2、一阶优化与二阶优化 3、GD、BGD、SGD 4、牛顿法与拟牛顿法 ………………博客园的编辑器似乎不是很友好。。。图片格式还不好缩放，前几张有点被遮住 ………… …… 补充：牛顿法相当于用海森矩阵的逆来对负梯度方向进行了修正（线性变换用矩阵描述），从而更快到达极值点。 阅读全文